Skip to content

实验,默认关闭:入口画像观察提名并集与配对评测 - #128

Closed
leafliber wants to merge 1 commit into
mainfrom
exp/entry-profile-union-nomination
Closed

leafliber wants to merge 1 commit into
mainfrom
exp/entry-profile-union-nomination

Conversation

@leafliber

Copy link
Copy Markdown
Member

入口画像的发现缺口主要发生在每日观察未提名阶段。本 PR 增加默认关闭的提名并集实验:对同一批消息和目录独立观察两次,按操作与依据去重,冲突修改保留原条目,再沿用现有累计和严格准入。每次观察独立180秒预算,修正共享本次截止时间;已完成的一份可断点恢复。

运行设置为 entry_profile.union_nomination=false;原自动画像生成保持原状。未修改提示词、准入、证据选择、分页、生命周期、冻结语料或 scoring_v3。不同措辞不做语义合并,可能增加后续检查成本;本轮尚无真实模型质量结论。

运行器新增 repeat --runs N [--union-nomination]、summarize --series ... --score ... 和 compare --left ... --right ...。各次独立数据库与目录,完成原外部判分后保留全部运行,输出均值、逐案例分布、按运行序号及案例ID配对的覆盖差、违规/禁止内容及调用量和耗时。汇总为描述性结果,不改变原计分合并和门槛。

验证:

  • 新增31项确定性/假模型测试,先红后绿。
  • Python 3.13.13、隔离3.12.12全量各5438通过;uv build通过。
  • 对main 9ae5d0e:116段公开学习请求(272批次)零差异;七份召回语料(228查询、五种模式1140返回)零差异。
  • 关闭实验时,六例入口画像回放的37次请求与main逐字一致,无归一化。
  • 本轮真实模型调用0;等待新公开dev集冻结及规划者通知后再运行对照,不合并。

规则、局限、命令及详细验证见 EF-27报告。完整材料只保留在仓库外。

@leafliber

Copy link
Copy Markdown
Member Author

按用户 2026-10-20 决定(入口画像收住):EXP2 预先登记的四条均不满足,提名并集不产品化。评测工具已拆出为 #132。分支保留。

@leafliber leafliber closed this Oct 20, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant