Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
18 commits
Select commit Hold shift + click to select a range
12b3fb6
prompt: require recurring support for each entry topic detail
leafliber Oct 14, 2026
bc1b52b
fix: verify recurring details before admitting entry topics
leafliber Oct 14, 2026
63f2d27
eval: report single-occasion topic validation and blind double judgment
leafliber Oct 14, 2026
2f69406
prompt: clarify independent repeated sayings and light variants
leafliber Oct 14, 2026
be7f8fe
fix: renew admitted topic strength and count independent short sayings
leafliber Oct 14, 2026
58516cf
fix: preserve noun boundaries in light saying prefixes
leafliber Oct 14, 2026
22f2dfe
eval: report EF-17 admission retention and blind public regression
leafliber Oct 14, 2026
4a9f0e5
eval: restore entry profile v4 defaults for EF-18 isolation
leafliber Oct 14, 2026
d4eea31
fix: select sufficient entry profile admission evidence within budget
leafliber Oct 14, 2026
7f3b284
docs: record EF-18 v4 evidence selection evaluation
leafliber Oct 14, 2026
9fc1a68
merge: follow main and preserve admission retention fix
leafliber Oct 17, 2026
4b81d1b
eval: freeze entry profile group and bound-meaning prompts v6
leafliber Oct 17, 2026
3929143
fix: require independent topic group and bound meaning reviews
leafliber Oct 17, 2026
8cb9c23
docs: record EF-20 independent public evaluation and coverage losses
leafliber Oct 17, 2026
cbf67f2
Merge origin/main before EF-21 source evidence refinement
leafliber Oct 17, 2026
36276f7
eval: freeze entry profile excerpt and rule announcement prompts v7
leafliber Oct 17, 2026
175aeb3
fix: preserve stable excerpts and complete entry rule evidence
leafliber Oct 17, 2026
0b7584d
docs: report EF-21 source excerpt evaluation and remaining failures
leafliber Oct 17, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
11 changes: 6 additions & 5 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -741,12 +741,13 @@ persona 在记忆整理后调用既有到期判断:自上一版至少五条自
### 当前形式:主题化的画像记忆(2026-10-14 起,#112、#114、#113)

- **每条画像就是一条记忆**:kind 为「入口画像」,子类为常聊话题、群内说法(可附含义)或明确群规/禁忌;about 为该入口的入口主体(subjects.kind=entry)。原话作为 sources,不写进正文。和其他记忆一样有修订、确认、生命周期、人工保护和彻底清除。画像记忆只在所属入口可见;普通召回、学习检索、人物要点、人物摘要、persona 和目标材料默认都排除它。
- **每日增量观察**:每个入口在角色时区的每日维护时刻处理已结束日期的新消息,也可以“立即运行”处理当日剩余消息。每次请求只读游标之后的新消息(有上限,过多时分块),加上已有画像主题的简短目录。模型只输出观察:确认已有主题、提出新候选(话题、说法、群规)、建议修正或撤下,并标出依据消息;鼓励把同一类的多次讨论归纳为稳定主题(提示词 entry_profile_observe_v3)。
- **代码累计证据,决定是否展示**:依据作为 sources 累积,独立性按确定性规则计算(转引、复述、接龙、刷屏、同一件事的跨日后续都不算新讨论)。达到门槛才送检查:话题至少两次独立讨论且跨两个本地日期;说法至少两次独立使用(保守地合并自然变体);群规需要一次面向全群的明确公告(个人请求、一次性安排、外部规定都不算)。代码只硬拦能确定判断的情形:具体实体(专名、作品名、地点、型号、数字、日期)必须出现在依据中;明显的个人请求、一次性安排、外部规定不能成为群规;回复或引用链、同一发起人对同一对象的跟进合为同一讨论。其余语义判断交给逐条检查。
- **逐条检查**:候选刚达到门槛、或需要修正时,只带这一条和它自己的依据检查一次(提示词 entry_profile_admit_v3):核对依据、性别代词、引文隐私、含义依据、局部做法不能写成群体习惯、不写容易过时的描述。检查只能删减或缩短依据,不改写正文;失败只影响这一条。
- **每日增量观察**:每个入口在角色时区的每日维护时刻处理已结束日期的新消息,也可以“立即运行”处理当日剩余消息。每次请求只读游标之后的新消息(有上限,过多时分块),加上已有画像主题的简短目录。模型只输出观察:确认已有主题、提出新候选(话题、说法、群规)、建议修正或撤下,并标出依据消息;鼓励把同一类的多次讨论归纳为稳定主题(提示词 entry_profile_observe_v7)。
- **代码累计证据,决定是否展示**:依据作为 sources 累积,独立性按确定性规则计算(转引、复述、接龙、刷屏、同一件事的跨日后续都不算新讨论)。达到门槛才送检查:话题至少两次独立讨论且跨两个本地日期;说法至少两次独立使用(保守地合并自然变体);群规需要一次面向全群的明确公告(个人请求、一次性安排、外部规定都不算)。代码只硬拦能确定判断的情形:具体实体(专名、作品名、地点、型号、数字、日期)必须出现在依据中;明显的个人请求、一次性安排、外部规定不能成为群规;回复或引用链、同一发起人对同一对象的跟进合为同一讨论。同一求助者对同一对象报告处理结果不另算;明确回指以前讨论并报告采纳结果的消息不作新讨论依据。未能确定的回指和主题差异交给逐条检查。
- **逐条检查**:候选刚达到门槛、或需要修正时,只带这一条和它自己的依据检查一次(提示词 entry_profile_admit_v7):核对依据、性别代词、引文隐私、含义依据、局部做法不能写成群体习惯、不写容易过时的描述。话题逐组记录实际对象与讨论性质、是否同一主题、是否独立发起;正文每个要点仍须由两次独立讨论共同支持。说法的含义逐点引用本条绑定且仍保留的解释片段,不能借上下文或邻条补证。明确的长期群规公告可由一次发布支持,发布身份可由公告语境证明,不额外要求平台角色字段或第二次批准;个人提醒、临时安排仍不算群规。检查只能删减或缩短依据,不改写正文;失败只影响这一条。
- **保留引文也要稳定**:选材优先保留主题、做法或说法用法的稳定原话,完整保留群规公告及其限定;只有不丢失正文要点和独立依据时,才移除带日期、临时数量或单次经历线索的来源。检查可把引文缩为原文中的连续片段,不能拼接、换词、换作者或借邻条补证。正文、实际保留的 sources.excerpt 都检查禁止内容;仅供核对的 context 不等于输出。必要来源也不能豁免违规,无法安全缩引时拒绝该候选。稳定规格、定义中的必要数字不一概删除。
- **稳定性靠反复出现**:候选 importance 30、准入后提为 50(仍走普通衰减);话题和说法准入时,保留强度补足到 importance 50 的初始值并重置衰减(#117;更高的保留强度不降低,同一已准入正文的复查和重放不重复补足);不再被确认的主题按生命周期淡出,被确认会增加保留强度。同一讨论只加一次。
- **预算与恢复**:观察和检查各自 180 秒(含 HTTP 重试和一次 JSON 修正),在事务外调用;观察、检查分别持久保存,重启可续跑,不重复加分。与其他整理共用每轮调用上限与每日 token 限额。
- **宿主**:`prepare.entry_profile` 的 `{text, version, generated_at, possibly_stale}` 不变,兼容新增 `memory_ids`(与 text 中展示的条目一一对应)。version 是每个入口的单调整数,只在可展示的画像集合变化时加一,读取不改变它。依据失效的条目直接不返回。
- **预算与恢复**:观察和检查各自 180 秒(含 HTTP 重试和一次 JSON 修正),在事务外调用;观察、检查分别持久保存,重启可续跑,不重复加分。同时受整理任务的调用预算与每日 token 限额约束。
- **宿主**:`prepare.entry_profile` 的 `{text, version, generated_at, possibly_stale}` 不变,兼容新增 `memory_ids`(与 text 中展示的条目一一对应)。version 是每个入口的单调整数,只在可展示的画像集合变化时加一,读取不改变它。依据失效的条目直接不返回。只展示稳定正文,不自动拼接 sources 原话;消息中的日期、临时事件与私事不会因作为核对材料而自动进入宿主文本。
- **管理**:入口画像面板按条显示画像记忆(子类、正文、依据原话、作者、准入状态、独立天数/次数、保留强度、最近确认时间、修订历史)和宿主投影预览。逐条编辑、删除、恢复、人工新建走通用记忆接口(修订号校验)。旧的整版编辑、回滚、确认、拒绝接口返回 410,旧版本保留为只读历史。全自动,没有“待确认候选”。
- **迁移**(032、033):管理员手写的群规逐条转为人工创建的画像记忆(无法分类的显示为“管理员说明”);旧的模型条目不直接导入,从原消息按新方式重建。
- **评测**:`evals/entry_profile_eval/memory_runner.py` 按消息时间逐日重放(daily_plus_final_flush),按 `scoring_v3.md` 判分。门槛:模型条目有依据 ≥90%、禁止内容 0;覆盖作诊断。
Expand Down
16 changes: 16 additions & 0 deletions evals/entry_profile_eval/EF-16-prompts.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,16 @@
# EF-16 提示词冻结与公开预登记

基线 origin/main:134b21acc385fcccd00f9d7db34ed9653d5ab3b9(包含 #115)。本轮仅修复话题正文夹带单次细节,不改冻结语料、scoring_v3 或既有准入门槛。

- entry_profile_observe_v4:dc3a81efd4422659e777b3310fb19d3e781efef869ec6299b937ee6ebb44ad7b
- entry_profile_admit_v4:a03ee65ca2f6944542f7b52ea5845ff002f02531009a8d2430e252f065fa2bd2

旧版本保留。观察要求只写共同主题与共同要点,避免把单次情形、操作或例子并进正文;拒绝诊断仅作下一次修订的反馈,不能充当证据。准入逐项核对每个细节至少被两次独立讨论支持;无法改写正文时拒绝整条,在 reason 中指出应删除的细节及更概括方向。topic_detail_review 仅是字面实体计数,不能替代逐项语义核对;普通名词与同义概括同样受共同支持规则约束。

估算系统提示词:观察1441 token,检查1880 token。材料、目录、证据、分页、修正与共享180秒截止时间上限均不提高。两份提示词在独立提交中冻结,之后仅进行工程验证与一次正式运行。

预登记:公开 entry_profile_v1,replay_mode=daily_plus_final_flush,真实写入口与投影;scoring_v3 原样。仅一次正式 GLM high 运行,先检查连接;超时或429则整轮作废、保留材料、停止,不自行重跑。完整返回后的格式问题按既有一次修正及 invalid_output 规则记录,不为质量结果重跑。

两名全新、未参与实现的 gpt-6-astra max 子代理,fork_turns=none,只共享冻结评分与同一材料,互不可见;两轮结束后按不利结论合并。门槛:模型条目有依据≥90%、禁止内容与违规0;覆盖与常聊话题数作诊断,争取不低于 EF-15 的14/40、3条,不因覆盖放宽依据和禁止要求。阶段覆盖损失、调用数、耗时、格式修正和作废如实报告。

完整材料目录:/Users/cassia/Local/Code/iris-eval-artifacts/EF-16-20261014/。
Loading