eval: 拆出入口画像重复运行与配对比较工具

evals/entry_profile_eval/EXP2-report.md

@@ -0,0 +1,150 @@
+EF-29 拆分说明：以下为历史 EXP2 的汇总。用户决定入口画像维持 main；本 PR 仅保留重复运行、离线汇总与配对工具，不包含提名并集设置或产品逻辑。完整运行与判分材料继续保留在文末仓库外目录。
+
+EF-28b / EXP2：公开 entry_profile_v2 提名并集发现实验
+
+本次提名并集没有提高最终可用记忆的平均覆盖：A 为 40.33/74，B 为 39.00/74，B−A 为 -1.33 个要点（-1.80 个百分点）。12 例中 3 例改善、7 例下降、2 例持平。实际 GLM 调用量为 A 的 1.828 倍，运行墙钟时间为 2.360 倍。本次结果不支持默认开启提名并集。
+
+代码和方法
+
+两组均冻结在 PR #128 的 94a7778ab31236a1178d675bf18f3c2e79277765；A 关闭提名并集，B 开启。语料冻结于 main 93d1be9，JSON SHA-256 为 7a434db4c92923ff6e6ec09f056d3f13f7ba3c45eaa1b4b7d53cc3e4fbc26f77（12 例、966 条消息、74 个 must_cover、136 个 forbidden 标签）。使用 memory_runner.run_repeated，即 CLI repeat --runs 3 的同一实现；外部控制器依次启动完整 A 组和完整 B 组，replay_mode=daily_plus_final_flush，GLM high，每次独立数据库和目录。
+
+每次有效运行由一个全新、未参与实现的 gpt-6.1-sol max 子代理单判，共六名，fork_turns=none。判分材料使用中性随机编号，移除运行版本／组别元数据；72 份 input 与原始导出完全相同。各判分员只访问自己的材料和结果目录。结果原样接回原始指纹后由冻结的 score_draft、summarize、compare 验证和汇总。全部六次有效运行均计入。scoring_v3、计分合并、gate_eligible 与作废规则均未修改；重复／配对汇总按原实现保持 descriptive_only=true、gate_eligible=false，本报告不作门槛通过声明。
+
+逐次结果。违规记忆按不同记忆计数，包含“无依据”，不重复计算同一记忆的宿主投影；禁止列为 forbidden 标签命中数。覆盖列沿用 must_cover，分母均为 74。
+
+| 运行 | 模型记忆有依据 | 违规记忆 | 禁止 | 覆盖 | 实际调用 | 墙钟分钟 |
+| --- | --- | --- | --- | --- | --- | --- |
+| A1 | 43/44（97.73%） | 2 | 1 | 38/74 | 291 | 78.39 |
+| A2 | 51/57（89.47%） | 6 | 0 | 48/74 | 284 | 74.16 |
+| A3 | 39/44（88.64%） | 5 | 3 | 35/74 | 260 | 69.60 |
+| B1 | 79/81（97.53%） | 2 | 0 | 50/74 | 546 | 176.51 |
+| B2 | 58/58（100.00%） | 0 | 0 | 34/74 | 449 | 147.89 |
+| B3 | 53/76（69.74%） | 24 | 2 | 33/74 | 531 | 199.86 |
+
+A／B 三次均值如下。有依据比例使用每次比例的算术平均；汇总记忆口径另列，避免混用分母。
+
+| 指标 | A 三次均值 | B 三次均值 |
+| --- | --- | --- |
+| 最终覆盖 | 40.33 | 39.00 |
+| 模型记忆数 | 48.33 | 71.67 |
+| 有依据模型记忆数 | 44.33 | 63.33 |
+| 有依据比例（逐次比例均值） | 91.95% | 89.09% |
+| 不同违规记忆数 | 4.33 | 8.67 |
+| 禁止标签命中数 | 1.33 | 0.67 |
+| 实际 GLM 调用数 | 278.33 | 508.67 |
+| 墙钟分钟 | 74.05 | 174.75 |
+
+三次合计的模型记忆有依据为 A 133/145（91.72%）、B 190/215（88.37%）。
+
+逐案例配对。向量按各组第 1／2／3 次运行排序，均值差为 B−A；按同案例三次平均比较，非按最佳运行比较。
+
+| 案例 | 要点数 | A 三次覆盖 | A 均值 | B 三次覆盖 | B 均值 | 均值差 |
+| --- | --- | --- | --- | --- | --- | --- |
+| EP101 | 7 | 6／5／4 | 5.00 | 6／4／4 | 4.67 | -0.33 |
+| EP102 | 6 | 3／3／2 | 2.67 | 5／3／5 | 4.33 | +1.67 |
+| EP103 | 6 | 3／6／5 | 4.67 | 5／5／4 | 4.67 | +0.00 |
+| EP104 | 6 | 2／5／4 | 3.67 | 4／1／4 | 3.00 | -0.67 |
+| EP105 | 6 | 2／2／1 | 1.67 | 2／3／1 | 2.00 | +0.33 |
+| EP106 | 6 | 1／5／3 | 3.00 | 4／2／2 | 2.67 | -0.33 |
+| EP107 | 6 | 2／3／2 | 2.33 | 2／2／1 | 1.67 | -0.67 |
+| EP108 | 6 | 3／3／2 | 2.67 | 4／2／3 | 3.00 | +0.33 |
+| EP109 | 6 | 5／3／4 | 4.00 | 4／5／3 | 4.00 | +0.00 |
+| EP110 | 7 | 6／4／3 | 4.33 | 5／3／2 | 3.33 | -1.00 |
+| EP111 | 6 | 2／4／3 | 3.00 | 5／1／2 | 2.67 | -0.33 |
+| EP112 | 6 | 3／5／2 | 3.33 | 4／3／2 | 3.00 | -0.33 |
+
+A 三次覆盖为 38／48／35，均值 40.33，范围 35—48，极差 13，样本标准差 6.81 个要点。B 三次为 50／34／33，范围 33—50、极差 17。每次由不同单判员判分，观察到的波动混合了生成随机性和单判差异；本轮不能分离两者。
+
+违规与禁止的汇总保留两种既有计数，避免投影重复改变印象。两个相加口径都可能重复命中同一问题，不能解释为不同问题总数。
+
+| 三次合计口径 | A | B |
+| --- | --- | --- |
+| 不同违规记忆（含无依据） | 13 | 26 |
+| forbidden 标签命中 | 4 | 2 |
+| 不同违规记忆＋forbidden | 17 | 28 |
+| 原始违规标签命中（含无依据及投影重复） | 45 | 46 |
+| 其中投影违规标签命中 | 22 | 16 |
+| 原始违规标签＋forbidden | 49 | 48 |
+| 排除无依据后的禁止类违规标签（仍含投影重复） | 22 | 10 |
+
+阶段覆盖与发现缺口。各阶段均按冻结标签的完整覆盖判定；生成阶段 false 不等于完全没有相关候选，也可能是候选类别／正文／证据尚不足。因此以下“发现缺口”是生成阶段尚未完整覆盖的标签数，不新增评分口径。
+
+| 运行 | 生成 | 确定性后／送检 | 检查通过 | 宿主投影 | 生成→送检丢失 | 送检→检查丢失 | 检查→投影丢失 |
+| --- | --- | --- | --- | --- | --- | --- | --- |
+| A1 | 49 | 45 | 38 | 37 | 5 | 7 | 1 |
+| A2 | 56 | 54 | 48 | 44 | 4 | 6 | 4 |
+| A3 | 50 | 40 | 35 | 34 | 12 | 5 | 1 |
+| B1 | 65 | 58 | 50 | 36 | 7 | 8 | 14 |
+| B2 | 53 | 39 | 34 | 29 | 14 | 5 | 5 |
+| B3 | 58 | 43 | 33 | 27 | 17 | 10 | 6 |
+
+| 阶段覆盖均值 | A | B | B−A |
+| --- | --- | --- | --- |
+| generated | 51.67 | 58.67 | +7.00 |
+| deterministic | 46.33 | 46.67 | +0.33 |
+| checked | 40.33 | 39.00 | -1.33 |
+| projected | 38.33 | 30.67 | -7.67 |
+
+阶段丢失按逐标签 True→False 计，生成→送检还存在不同材料组合带来的 False→True：A 三次新增为 1／2／2，B 为 0／0／2。因此不能直接相减阶段总数来替代丢失标签数。
+
+每次平均的生成阶段缺口由 A 22.33 减为 B 15.33，少 7.00 个；三次生成阶段均未完整覆盖的标签由 12 个减为 6 个：原 A 缺口中有 7 个在 B 至少出现一次完整覆盖，同时有 1 个成为 B 新缺口。生成阶段增量未转化成最终可用记忆的覆盖增量；投影覆盖均值还由 38.33 降到 30.67。
+
+以下编号冒号后的数字为该案例冻结 must_cover 数组的 1 起始序号，未修改语料标签。
+
+| 发现缺口变化 | 标签编号 | 冻结公开标签 |
+| --- | --- | --- |
+| A 三次均缺、B 至少一次完整覆盖 | EP104:05 | 群内说法“空栏有名”：本项须覆盖说法及缺测格留空、写清中断原因两个释义要点；只写词面不算覆盖。释义依据须含“空栏有名就是缺测格留空，同时写清中断原因”原话。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP105:03 | 常聊话题：短波接收中不同频段、收听时段与信号衰落快慢的对照。依据包括“把频段和收听时段放一块”“声音一阵浮上来一阵沉下去”“频段、时段写在旁边，衰落快慢才对得上”；须覆盖时段与频段的对应及强弱起伏，不要求写某日某频段的结果。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP106:01 | 常聊话题：熔融打印首层的附着、线条相连情况，以及首层挤压对底部边缘尺寸的影响。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP107:04 | 群内说法“收一道岸”：本项须覆盖说法及把遮盖边沿再压贴一遍的含义；只写词面不算覆盖。释义依据须含“收一道岸，就是把遮盖边沿再压贴一遍”原话。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP108:05 | 直播间说法“托住根”：本项须覆盖说法及让支撑落在完整围岩处、避开有裂隙晶尖两个释义要点；只写词面不算覆盖。释义依据须含“托住根就是让支撑落在完整的围岩处，避开有裂隙的晶尖”原话。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP111:04 | 群内说法“掐掉伴奏”：本项须覆盖说法及讨论结论时先拿开配乐情绪、再看话本身的材料支持两个释义要点；只写词面不算覆盖。释义依据须含“先把配乐带来的情绪拿开”和“再看话本身靠哪段材料站住”两处原话。 |
+| A 三次均缺、B 至少一次完整覆盖 | EP112:03 | 常聊话题：用正面和侧面镜头互补检查躯干姿态，正面看左右偏移、侧面看前倾或前后关系。依据包括“看躯干左右偏不偏”“正面查左右偏移，侧面查前后关系”和“正面看左右偏，侧面看前倾”。两个姿态维度均须覆盖，不泛指一切镜头观察。 |
+| A 至少一次完整覆盖、B 三次均缺 | EP107:05 | 群内说法“留口气”：本项须覆盖说法及掉漆痕迹之间留干净间隔的含义；只写词面不算覆盖。释义依据须含“留口气指掉漆痕迹之间留干净间隔”原话。 |
+
+B 三次生成阶段仍均未完整覆盖：EP105:01、EP105:05、EP107:01、EP107:05、EP108:03、EP110:05。全部 74 个标签在两组各三次、四个阶段及最终可用记忆中的布尔结果见 analysis.json 的 labels。
+
+观察目录因预算省略已有记忆的累计条次为 A 0、B 380（B1 107、B2 122、B3 151），这是重复省略条次，不是不同记忆数。本轮保留既有目录、证据、准入与投影预算；仅将这一现象记录为诊断，不据此作因果归因或放宽规则。
+
+调用量与耗时。实际调用来自封存 run.json 的 cases[].model_calls，与运行器 usage 一致，全部 provider_recorded=true；不含连接检查或六名外部判分员。JSON 修正计入实际调用。
+
+| 用途／成本（三次合计） | A | B | B/A |
+| --- | --- | --- | --- |
+| 观察 | 435 | 870 | 2.000 |
+| 准入检查 | 395 | 642 | 1.625 |
+| JSON 修正 | 5 | 14 | 2.800 |
+| 全部实际 GLM 调用 | 835 | 1526 | 1.828 |
+| 请求秒数 | 13079.05 | 31124.47 | 2.380 |
+| 墙钟分钟 | 222.14 | 524.26 | 2.360 |
+| 输入 token | 1519583 | 3099948 | 2.040 |
+| 输出 token（服务商记录） | 892287 | 1680753 | 1.884 |
+
+| 单次请求秒数 | A | B |
+| --- | --- | --- |
+| p50_seconds | 12.871 | 17.324 |
+| p95_seconds | 34.613 | 41.935 |
+| max_seconds | 125.898 | 147.908 |
+
+六次运行墙钟合计 12.44 小时。A 先于 B 串行执行是预登记安排，耗时差包含不同运行时段及实际请求材料差异，不能全部归因为开关自身。各用途及逐次分位数见 timing.json；这只是既有日志统计，不是 CPU 压测。
+
+作废与完整性
+
+作废运行 0，补跑 0；未发生 429 或未恢复超时。2361 条实际模型调用均记录为 success；导出 infrastructure 的 failed_calls 全部为 0。来源原话字面匹配为 1539/1539，这项真实性检查不替代语义有依据判分。评测中没有修改代码、提示词、冻结语料、评分或虚拟环境；HEAD、语料和三个外部辅助脚本均通过末次完整性核对，工作区干净，test-models.toml 仍被忽略。未提交、推送或合并新的代码。
+
+监控期间两次只读状态查询的自动权限审查超时，且一次普通沙箱 SQLite 读取暂时少计；均仅影响进度监控，正式进程继续运行。末次成本全部改用原运行器封存的完整导出核对，无运行因此作废。
+
+材料位置
+
+/Users/cassia/Local/Code/iris-eval-artifacts/EF-28-EXP2-20261020
+
+| 材料 | 相对路径 |
+| --- | --- |
+| 冻结输入与预登记 | entry_profile_v2.json、spec.json、controller-freeze.json、connection-check.json |
+| 全部原始运行、数据库、请求与输出 | raw/A/initial/run-0001..0003、raw/B/initial/run-0001..0003 |
+| 三次有效运行的完整序列描述 | groups/A/series.json、groups/B/series.json（指向原始运行） |
+| 中性判分材料及各单判员原始结果 | blinded/sample-*/、judgments/sample-*/ |
+| 私有对照表 | private-mapping.json |
+| 原运行器汇总 | A-summary.json、B-summary.json、paired.json |
+| 阶段、逐标签和耗时诊断 | analysis.json、timing.json |
+| 代码、语料和隔离方式核对 | integrity.json |
+| 本报告 | EXP2-report.md |