Skip to content

fix: 修复入口画像确定性误拦 - #127

Closed
leafliber wants to merge 2 commits into
mainfrom
fix/entry-profile-false-blocks
Closed

leafliber wants to merge 2 commits into
mainfrom
fix/entry-profile-false-blocks

Conversation

@leafliber

@leafliber leafliber commented Oct 18, 2026 •

Copy link
Copy Markdown
Member

普通类别、数量/序数、计量语法及中性“他”字词被误识别为专名或性别推断,部分说法也因引号/冒号格式在送检前被拒。本 PR 修正这些词法和结构误拦,继续交原有准入检查;真实专名、完整具体数值、性别推断、账号隐私和真正结构错误仍受约束。

EF-26 两次公开正式运行均未过门槛,已按预登记上限停止,保持草稿,不合并。 第二次含1条单条消息泛化,不能因冻结 forbidden 标签命中为0就宣称零违规。两次未改代码/提示词,也没有按案例挑选或补跑。

运行 模型有依据 违规记忆,含无依据 其中禁止类记忆 forbidden 标签命中 覆盖 常聊话题:总数/合规
main 历史基线 17/17,100% 0 0 0 14/40 2/2
EF-26 第一次 16/18,88.9% 2 0 0 14/40 4/2
EF-26 第二次 16/18,88.9% 2 1 0 10/40 4/3

当前 head:38d3b33f13c37d132de46123254c4bdc34ddc993;产品评测 head:5c466eb99df3c950385abac075d5a968f36547ee。后一个报告提交只增加摘要。

  • 文件仅 entry_profile.py、本轮新测试和汇总报告;14份提示词及 observe_v3/admit_v3 默认值原样保留。未改准入语义、独立性计数、证据选择、分页、生命周期、memory_ops、迁移、接口、冻结语料与评分。
  • 普通量词/序数/频率交语义检查,显式命名及完整具体日期/数值/标识符继续核对绑定依据;词边界避免截取数字片段。中性字词不误触性别,真实代词仍拦。说法仅允许字面等价的引号、冒号、空白和末尾标点,结构字段或释义来源不一致仍拒。
  • 新增87项手写正反测试,先红后绿。Python3.13.13全量3841通过,隔离Python3.12.12全量3841通过;uv build成功,已清理本worktree的pytest临时目录。
  • 全部116段公开学习语料/272批假模型学习请求零差异;七份召回/228查询×5变体共1140份返回及214份判断输入零差异。
  • 同口径送检前词法硬拦:main2条(均unbound_entities),两次候选均0;main两条误拦的原正文+原绑定依据离线重放均解除。另列检查后来源校验:main与第一次各1候选/1工作,第二次1候选/3工作;没有把它们隐藏在词法0的计数中。预算阻断main0、第一次1、第二次0。
  • 每次使用两位全新、未参与实现的gpt-6.1-sol max独立子代理,互不可见,原计分器从严合并。main复用EF-23同一cc60a0b的历史gpt-6-astra max双判,模型变化及随机输出限制已在报告注明。
  • GLM high串行运行:第一次74请求,P50/P95/最长15.617/49.788/77.744秒;第二次69请求,15.871/42.268/54.285秒。两次无超时、429或作废;全部保留引文匹配。

完整汇总报告含逐标签阶段变化、分歧、过滤理由口径、局限和测试日志索引。全部原始材料/判分仅存仓库外 /Users/cassia/Local/Code/iris-eval-artifacts/EF-26-20261018/;未找寻或读取隐藏集。

@leafliber

Copy link
Copy Markdown
Member Author

用户 2026-10-19 决定:入口画像暂停,保留 main;小改动提升有限,先调研其他方案。分支保留。

@leafliber leafliber closed this Oct 19, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant