muse-agent-example/muse/lifecycle/quality/skills/replay/evaluate-frozen-replay/SKILL.md

name, description, disable-model-invocation

name	description	disable-model-invocation
evaluate-frozen-replay	编排细纲隔离回放：把参考作品冻结到 as_of 章号，跑三臂 planner、盲 detector 与双盲 judge，产出可审计的逐样本结果。需要验证知识或上下文方案对细纲质量是否有增益时使用；阻断未来信息、未授权来源和不可接受的候选流入生产。	true

细纲回放编排

本 Skill 是细纲侧回放编排层，只做冻结、授权、防泄漏审计、三臂回放编排与安全报告。正文 A/B/C 回放归 replay-writer-gate；真实作品配置装配归 load-replay-reference-work；探针刷新归 refresh-runtime-probe；评分归 score-content-quality；Gate 终态归 adjudicate-quality-gate；角色调用归 execute-role-task；CAS/raw 证据归 record-run-evidence；候选检测归 check-content-consistency；冻结快照与只读装载归 freeze-context。依赖箭头只向下，本 Skill 不自带这些实现。

冻结合同以 父仓专题-03 为唯一 owner，Gate 裁决以 父仓专题-04 为准，adapter 隔离以 父仓专题-05 为准。

输入

• reference_work：参考作品标识和版本。
• as_of：冻结章号，必须是正整数；所有历史证据只能来自绝对章号 <= as_of。
• snapshot_version：不可变的快照版本。
• 作品大纲窗口：使用 from_order / to_order，只允许完整窗口 to_order <= as_of。
• 实体卡和里程碑：必须带可验证的绝对章号；无明确上界的区间不进入快照。
• 来源合同：每个来源要有 sourceId、sourceVersion、用途授权快照和来源状态。
• 内容审计合同：leakageAudit.targetFacts.forbiddenFacts 必须登记目标章结构化事实及首见章号；审计结果只允许输出路径和哈希。

来源版本只认原文件证明链：example_reference_work.source_file 必须唯一匹配成功 import task 和未软删 knowledge document，三方文件名一致，文档 file_hash 为 64 位小写 SHA-256，且 import command_id 以该 hash 前 16 位开头。sourceHash=sha256:<hash>，sourceVersion=raw-file-v1:sha256:<hash>；作品 revision 和导入章数不得改变原文件版本。

真实参考作品配置由 freeze-context/scripts/load_reference_work.py 在 REPEATABLE READ READ ONLY 事务中从实验库组装；它只取作品元数据、窗级大纲、章级细纲摘要和预注册卡 ID 对应的候选卡历史。候选卡必须标记为 eval_draft，不能当作生产知识检索结果。

编排入口

• scripts/run_replay.py --mode dry_run：只执行授权、来源、冻结和三臂 manifest 预检，不调用模型；用于确认评测执行的前置条件。
• scripts/run_replay.py --mode execute：在全部前置门通过后，依次执行三臂 planner、整组 schema、逐臂盲 detector、两个独立盲 judge、rubric 校验、稳定性门和去盲汇总；--output-dir 必须位于仓库外的临时目录。
• scripts/write_report.py：从 run_result.json 生成独立严格 schema 的安全摘要，只接受受限标识符、枚举、数字、短安全摘要和 SHA-256；不读候选正文，也不把候选路径以外的原始响应写入报告。
• planner、detector、judge 统一经 muse_role 注入各自角色 prompt 与冻结输入；离线测试注入内存 fake，真实评测使用版本化模型治理策略。
• 三角色 profile 受 --timeout-seconds 限制，默认 300 秒；timeout 传到底层 HTTP 调用，任一超时按角色失败终态落盘，不得继续进入后续阶段或标记 completed。

冻结规则

1. 章号支持整数和数字字符串，拒绝布尔值、浮点猜测、空值和无法证明上界的字符串。
2. 里程碑按绝对章号过滤；未来条目、跨过 as_of 的区间和无章号条目进入 omittedSources，不改写成当前事实。
3. 窗级大纲按 to_order 过滤并按 from_order 排序；window_no 只是展示字段，不能作为冻结键。
4. 终态摘要、未来弧线、原始当前态等存储字段不能直接透传；只能保留安全历史并由后续消费方明确标记推导状态。
5. 任何目标章事实、目标实体清单或目标章标签不得参与规划器侧来源选择。

输出

输出是临时 snapshot_manifest：记录来源 ID/版本、SHA-256、字符数、字段裁剪、来源省略和快照版本，不保存原书正文。三臂的 manifest 除卡注入分区外必须字节一致；不一致时整组作废。

run_replay.py 会同时审计公共快照和三臂卡注入区。没有 leakageAudit 配置、发现未来章记录、目标事实完整匹配，或原子事件子句达到多强锚点与覆盖率门时，不生成 snapshot_manifest，也不进入 planner。

detector 输入输出均为 JSON；输入只有匿名候选 ID、候选和公共冻结到 as_of 的规划上下文，不含 arm 名、cardInjection、cardManifest、任何臂特有卡内容、目标章 proxy 或其他评委结果。卡注入合法性只由确定性预检负责。报告不合约属于系统失败，须在 judge 前失败关闭；合同合法的 failed / needs_evidence 属于候选质量信号，三臂均须保留候选与报告并继续盲评。

合法的非 passed 报告在安全 manifest 与 CAS 中只保存按臂分组的 semantic-diagnostic-v1：固定结果枚举、固定原因/区段枚举、调用次数和有界阻断计数。完整报告只留受控 raw 和编排器内存中的 Gate builder 输入；安全输出不得保存错误消息、正文、引文、事实文本、补证查询/原因、任何检测项 ID/字段路径、纠错草稿或模型原始字段。

两个 judge 使用不同 judgeId 和独立无会话进程。第二个 judge 的匿名候选顺序必须与第一个完全相反；任何 rubric 不合约标记 judge_invalid，任一同维差值大于 0.5 标记 judge_unstable，两者都不得标记 completed。只有三臂 schema 合法、detector 均产出合同合法报告、双 judge rubric 与稳定性门通过，才去盲生成逐维 B-A / C-A 差值矩阵并标记 completed。

数据边界

本 Skill 默认不写创作正文/规划表；真实配置经 freeze-context 的只读装载事务组装后以文件传入。完成态可写 example_lesson（效果信号）；--no-persist-lesson 跳过。

真实角色调用的完整 prompt/response 只经 record-run-evidence 写入受控 raw 表；仓外运行目录只保存 request/response 哈希与安全回执，不保存模型原始字段。生成候选和评审中间件仅留在显式指定的仓外临时运行目录，最终报告只允许评分、摘要、章节定位、失败类别和哈希。

禁止把完整 Prompt/Response、供应商原始响应、原书正文、完整目标细纲、token、密钥或未脱敏授权资料写入 Git 仓库或安全摘要。

红线

• 授权、来源版本、目标章禁读或内容级泄露检查任一失败，都必须 fail-closed，返回明确的阻断状态，不靠重试绕过。
• 真实作品运行必须绑定不可变授权快照，且 allowedPurpose 包含 offline_evaluation。缺记录、授权过期、用途不符或来源状态无效时保持 blocked_authorization，不得伪造为 licensed。
• 任一模型调用失败都不能跳过对应臂、复用部分结果或改写预注册输入；重跑必须重新执行完整样本合同。
• 任一样本发生系统失败、检测器不合约、盲评无效/不稳定、预算或证据持久化失败后，整轮已无法构建完整 Gate 输入，必须立即停止后续样本；不得继续调用模型消耗预算，也不得删除已经登记的诊断证据。
• 本 Skill 只做回放编排，不产生也不改写 Gate 终态；终态只能由 adjudicate-quality-gate 产生，人工不得改写。
• status=completed 仅当三臂结果均 ok 且 judge 稳定；assert_run_may_complete 在写完成态前机械复核，禁止假绿。

复利合同

• 细纲/Writer 回放证据由 replay-writer-gate 与 adjudicate-quality-gate 的 CAS/报告链承载；本 Skill 默认 dry-run 编排不写 example_run，避免与生产 start_run 双登记。
• 回写：status=completed 后经 propose_lesson_dedup 登记 example_lesson（绑 runId 与评测稳定性摘要）；--no-persist-lesson 跳过。Gate B 终态 lesson 仍由 adjudicate-quality-gate 登记。