zizi 0260bcd8e2 设计文档:SoT 同步与生成物重出
- 新版设计各域 SoT 按本轮实现同步:总体架构、模块设计、接口契约、数据模型、功能规格、文件设计与决策记录。
- 接口契约生成物重新导出(openapi 与前端客户端随契约一致)。
- 实现回顾与专项检查台账保留历史结论;本轮收尾发现另见 .agents.local 下的收尾报告与审查处置。
2026-09-18 01:15:18 +08:00

3.3 KiB
Raw Blame History

P06-经验验证与启用

问题

仅保存经验状态或人工汇总无法说明实际启用的变更有效,推断偏好还可能被永久化。

方案

保留反馈对和范围化偏好,对具体变更版本执行隔离实验后再启用。

故事

  1. 作为作者,我想明确区分长期偏好和本次要求,以便避免误记。
  2. 作为作者,我想查看、修正和撤回推断偏好,以便控制后续使用。
  3. 作为作者,我想保留原稿、改稿与原因,以便解释改进来源。
  4. 作为作者,我想先看到具体方法、规则或资源变更,再看逐例实验,以便判断。
  5. 作为作者,我想在盲评中选择原文、候选或平局,以便避免被标签影响。
  6. 作为作者,我想实际启用的正是已测版本,并能退役回滚,以便控制风险。
  7. 作为作者,我想观察长期人审、返工和成本,以便判断持续收益。

实现决策

  • B07 拥有偏好与提案,B10 执行实验,B04/B06/S02 和资源发布入口各自维护生效版本。
  • 先生成具体目标内容及哈希,再评测;后续内容变化构成新版本。
  • 发现、校准和保留集隔离,逐例执行记录输入、输出和不确定项;评测权限不能写正式创作内容。
  • Skill、提示词或代码目标必须关联可审 diff、构建版本与发布回执;仅更新提案状态不算启用。
  • 运行观察保留实际S02尝试、技术版本与具名业务回执来源,作者自报指标另记;历史失败/未知不被后续成功覆盖。单次成功只称观察,不能自动成为有效方法、长期偏好或启用依据。
  • 规则改进使用独立请求点名B06非语义候选的rule/version/hash和真实B05反馈;验证只调用B10专用确定性规则诊断,不借普通实验或模型任务替代。
  • 规则启停必须复用B06实际S01审阅与激活基线。B07只保存意向、B10运行定位和B06原回执;启用事件不是诊断消费,实际消费从B06已保存报告的rule_bindings恢复。

公开字段和失败合同见接口契约目录,代码位置见目标文件目录。

测试决策

  • 一次拒绝不自动形成全局偏好。
  • 撤回阻止后续消费。
  • 评测答案和匿名映射不能进入生成。
  • 缺样本、未知成本和未标定指标不能冒充通过。
  • 目标哈希变化后拒绝沿用评测。
  • 空来源、跨作者/用途、错尝试和错版本哈希拒绝;同命令或同来源现象重放保留原观察,变内容拒绝。重复问题按实际不同任务统计,不以多次重放扩大样本数。
  • 未登记同目标验证、异版、他作者、缺明确B06审阅或凭据失效时拒绝新启用;B06已提交而B07登记中断时重放原回执,来源停止后仍允许停用并保留旧消费。

测试从作者实际入口和模块公开接口验证行为;离线替身、隔离数据库、真实模型和浏览器证据分开记录。功能编号及目标测试映射见功能覆盖矩阵。

范围外

自动修改已发布 Skill 或以单个模型总分承诺文学质量。