7.7 KiB
agent-loop v1 批报告 · batch-001
自动生成（§7.5），数据源=本批 JSONL 账本；同时即 prompt-eval.yml 闸②④数据源。
1. 结论速览
| 项 | 值 |
|---|---|
| accept 率（统一口径） | 80.0%（accept ÷ (提交创意数 − infra 类) = 16 ÷ (20 − 0)） |
| 提交创意数 | 20 |
| infra 类（不计分母） | 0（占已处理 0.0%） |
| 批起止 | 2026-06-10T00:13:21.722361+00:00 → 2026-06-10T00:24:32.831004+00:00 |
| 模型与通道 | MiniMax-M2.7 @ http://100.64.0.8:3000（抽检模型：deepseek-v3.2） |
| 30 分钟强制收口 | 未触发 |
| 熔断 | 发布段冻结：F10：发布链连续 2 条失败，停发布段 |
Prompt 版本：{"config.clicker-designer": "1.0.0", "quality.adversary-review": "1.0.0", "fix.design-revise": "1.0.0"}
2. 三层漏斗（对齐 C1 口径，分母=20）
| 层 | 通过数 | 通过率 |
|---|---|---|
| 结构层（schema 终态） | 20 | 100.0% |
| 可运行层（五条 AND） | 16 | 80.0% |
| 可接受层（accept） | 16 | 80.0% |
归因：主要损耗在文本面（策划/填参，kill 4 条）≥ 实玩面（0 条）：优先修 prompt/模板约束，走四道闸升版。红线：不得以降低裁决口径换达标。
3. kill 原因分布（reasons 首项聚合）
| 原因 | 条数 |
|---|---|
| p1_residual_after_fix | 3 |
| schema_invalid_after_retry | 1 |
4. fix 回炉
- 回炉数：6；回炉后 accept：2；回炉成功率：33.3%
5. infra_fail 明细（不计分母、可重放）
（本批无 infra_fail）
6. 对抗评审稳定性披露（Z4）
- 重测条数：3；一致条数：1；一致率：33.3%
7. 换模型抽检（20% 向上取整重裁）
- 抽检条数：0；分歧条数：0；分歧率：—；发布冻结：否
8. 成本
- LLM 调用总数：57；批总耗时：671 秒
9. 金丝雀发布清单（≤10/批）
| designId(8) | gameId | versionId | 已发布 | feed 可见 | 跳过/失败 |
|---|---|---|---|---|---|
| 4e2de887 | 9011 | 93011 | 是 | — | — |
| 115589c5 | 9012 | 93012 | 是 | — | — |
| 6f091b6d | 9013 | 93013 | 否 | — | frozen |
| a1869689 | 9014 | 93014 | 否 | — | frozen |
| b2603e82 | 9015 | 93015 | 否 | — | frozen |
| b00027fe | 9016 | 93016 | 否 | — | frozen |
| 43afd1f7 | 9017 | 93017 | 否 | — | frozen |
| 439034c7 | 9019 | 93018 | 否 | — | frozen |
| 005cde6a | 9020 | 93019 | 否 | — | frozen |
| 526aaaa9 | 9021 | 93020 | 否 | — | frozen |
| b52388c4 | 9022 | 93021 | 否 | — | frozen |
| cb3f7444 | 9023 | 93022 | 否 | — | frozen |
| 090212e4 | 9024 | 93023 | 否 | — | frozen |
| 664cf203 | 9026 | 93024 | 否 | — | frozen |
| 53933f30 | 9028 | 93025 | 否 | — | frozen |
| 7ebba6f0 | 9030 | 93026 | 否 | — | frozen |
补救记录（remediation-001）
批后补救执行于 2026-06-10（UTC），针对验收复盘的两个 P1：①F10 误熔断发布段（postcheck
feed/stream?size=50超后端单页上限 30 → 400）；②换模型抽检 deepseek-v3.2 通道 401 → 抽检 0 条。 修复件：backend_gw.feed_find_game（cursor 翻页，单页钳 30）+run_batchpostcheck 改调用（本机仓库待提交）。补救驱动跑在一次性工作区/root/remediation-001（已清理），产物全部落本 runs/ 目录。
1. 补发布结果（金丝雀纪律：≤10/批，已发布 2 → 本次补 8）
| designId(8) | gameId | versionId | 结果 | project.status | play 取包 | feed 可见 |
|---|---|---|---|---|---|---|
| 6f091b6d | 9013 | 93013 | published | 4 | ok | 可见 |
| a1869689 | 9014 | 93014 | published | 4 | ok | 可见 |
| b2603e82 | 9015 | 93015 | published | 4 | ok | 可见 |
| b00027fe | 9016 | 93016 | published | 4 | ok | 可见 |
| 43afd1f7 | 9017 | 93017 | published | 4 | ok | 可见 |
| 439034c7 | 9019 | 93018 | published | 4 | ok | 可见 |
| 005cde6a | 9020 | 93019 | published | 4 | ok | 可见 |
| 526aaaa9 | 9021 | 93020 | published | 4 | ok | 可见 |
- 成功 8 / 跳过 0 / 失败 0；审核 reason 均带
batch-001-remediation审计标记。 - 剩余 6 条 accept 按金丝雀纪律保持 accept_unpublished（不是失败）：b52388c4(9022)、cb3f7444(9023)、090212e4(9024)、664cf203(9026)、53933f30(9028)、7ebba6f0(9030)。
- 本批入 feed 总数 = 2（原发）+ 8（本次）= 10 ≤ 10，严格踩线不超。
- 独立核验（非驱动自报）：DB
game_project10 行 status=4 / 6 行 status=0；逐条明细见remediation-publish.jsonl。
2. feed 实测（补发布后）
GET /app-api/feed/stream?size=30实测 18 张卡（hasMore=False，单页尽收）：8 张既有夹具（9001-9008）+ batch-001 全部 10 张。- 新增 8 张卡标题：农场里收割成熟的蔬菜(9013)、深夜便利店招待来买夜宵的顾客(9014)、校园运动会上的接力赛冲刺(9015)、猫咖啡馆里撸猫攒爱心(9016)、春节集市上抢福袋(9017)、烧烤摊翻烤串，别烤糊了(9019)、地铁早高峰挤上即将关门的车(9020)、做一个很好玩的游戏(9021)。
3. R8 降级抽检（同模型异版本 prompt 重裁）
deepseek-v3.2 全 401 → 按评审版 R8 既定降级：MiniMax-M2.7 + 措辞重排变体 prompt（口径不变，存
audit-fallback/prompt-variant.md，不入 contracts/ 不动 Registry）+ 温度 0.2（原裁 0.4）。 抽样可复现：种子 =int(sha256("batch-001").hexdigest()[:8], 16)= 2954218305，16 条 accept 抽 4（20% 向上取整）。LLM 调用 4/8 预算。
| designId(8) | gameId | 原判 | 重判（变体 prompt） | 分歧 |
|---|---|---|---|---|
| a1869689 | 9014（已发布） | accept（无 P0/P1） | 无 P0/P1 | 否 |
| cb3f7444 | 9023（未发布） | accept（无 P0/P1） | 无 P0/P1 | 否 |
| 439034c7 | 9019（已发布） | accept（无 P0/P1） | 2×P1（designIntent「受热均匀」与 config 仅记翻烤次数脱节；target=18 语义歧义）+2×P2 | 是 |
| 526aaaa9 | 9021（已发布） | accept（无 P0/P1） | 1×P1（idea「做一个很好玩的游戏」与 designIntent 糖果屋玩法题文脱节） | 是 |
- 分歧率 = 2/4 = 50% > 10% 阈值。
⚠️ 冻结告警（R8）
建议主 agent 复核分歧条目 439034c7(gameId 9019) 与 526aaaa9(gameId 9021)，并暂停后续批次的发布开关，直至复核完成。 按既定红线：抽检分歧不自动下架已发布游戏，9019/9021 维持发布态，待人工裁定。 注意：降级口径为同模型重裁（独立性弱于换模型），且温度 0.2 更严苛、原批 Z4 对抗稳定性一致率仅 33.3%，分歧含「评审随机性」成分；但 526aaaa9 的 P1（idea 极泛与成品题文脱节）与 439034c7 的 target 语义问题人工初看有实质性，不宜全归为噪声。
- 原始请求（不含密钥）/响应/逐条结果：
audit-fallback/sample-*-{request,response}.json、audit-fallback/audit-result.json。
4. 网关通道问题留档（待创始人修网关）
- new-api（100.64.0.8:3000）通道现状：deepseek-v3.2 全 401（通道未激活）；glm / qwen / kimi 通道 token 过期。换模型抽检在网关修复前均需走 R8 降级（同模型异版本 prompt），独立性受限，已按规程告警留档。
- 后续批次建议：网关修复后对 batch-001 的 16 条 accept 补一次真·换模型抽检，与本次降级结果对照。
5. 产物清单
| 产物 | 路径（相对本 runs/batch-001/） |
|---|---|
| 补发布逐条账 | remediation-publish.jsonl（14 行：8 published + 6 accept_unpublished） |
| 变体 prompt | audit-fallback/prompt-variant.md |
| 抽检请求/响应原件 | audit-fallback/sample-{a1869689,cb3f7444,439034c7,526aaaa9}-{request,response}.json |
| 抽检判定汇总 | audit-fallback/audit-result.json |