Skip to content

feat(advisor): 新增向更强模型咨询的技能 - #44

Open
Zhong-fan wants to merge 1 commit into
scarletkc:mainfrom
Zhong-fan:feat/advisor-skill
Open

Zhong-fan wants to merge 1 commit into
scarletkc:mainfrom
Zhong-fan:feat/advisor-skill

Conversation

@Zhong-fan

Copy link
Copy Markdown

Problem

较便宜的 worker 模型遇到推理瓶颈时,可能反复尝试却不再获得新证据。仓库缺少统一说明:何时向更强模型咨询、传递哪些信息,以及收到建议后如何继续验证。

Value

让 worker 只针对具体难点使用更强模型的推理能力,并继续负责实现和验证,减少无效重试和整项任务交接。

Approach

  • 新增与 provider 无关的 advisor 技能,根据调查是否产生新证据、是否存在矛盾及下一步试验成本判断咨询时机。首次失败本身不触发咨询;已有明确下一步时继续自行处理。
  • 定义包含目标、观察事实、尝试与结果、当前假设、约束和具体问题的简短请求,要求 advisor 提出能区分剩余假设的最小试验及预期结果。
  • 优先选择适合当前难点、推理能力更强的 advisor;模型和调用方式交给现有集成技能,并遵守权限与成本限制。
  • 明确调用失败和重复/递归咨询的停止条件。建议作为待验证的假设,worker 保留实施和验证责任。
  • 添加七个行为评测场景并更新 README 技能目录。

Validation

  • Windows 和 Ubuntu(WSL)的 python -m unittest discover -s tests -v 均为 77 项通过;python scripts/update_readme_skills.py --check 通过。
  • Windows 的技能元数据检查、打包和 gh skill publish --dry-run 通过;dry-run 没有发布技能。
  • 子 agent 独立评审覆盖七个场景及额外的权限、循环和 advisor 不可用情况,最终复审没有新问题;这是评审者可见预期行为的非盲评。
  • 通过平台原生 agent 工具实际调用较便宜的 worker 和更强的 advisor,没有提供评测预期答案。worker 先检查源码,在原因明确时不咨询;面对未决的并发设计取舍时,发送一次限定诊断请求,收到建议后自己运行局部 SQLite 实验。

77 项既有测试验证仓库工具,不证明模型的推理行为。首次烟测的过早咨询未计为触发判断通过,后续重新验证了上述两种情况。局部实验不证明生产缓存协议或 Windows mmap/崩溃恢复正确;外部 CLI 集成未验证,GitHub CI 尚未运行。

Impact

仅新增 skills/advisor/SKILL.md、skills/advisor/evals/evals.json 并更新 README 技能目录。现有 provider 调用工具、命令参数和权限机制不变。

Fixes #43.

@scarletkc
scarletkc self-requested a review October 18, 2026 22:45
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Add an advisor skill for escalating hard reasoning to a stronger model

1 participant