# playtest-agent spike——测试 agent 替 E/G/H 的方向验证(2026-07-10 考卷终榜)

创始人 2026-07-09 晚拍板「拆着杀」九门后,这个 spike 先行回答一个问题:一个只看截图与日志、按 brief 视觉引导真玩的多模态 agent,裁决质量是否够格接替 E_live/G_input/H_progress 三门与 tap-targets 驱动器。考卷用当日 n=5 基线里 10 局已知真相的游戏(逐局破案见 `docs/plans/2026-07-10-001-feat-生成线验收v2-测试agent替EGH-plan.md` §1),测试员 = MiniMax-M3。结论:方向成立——真坏局 3/3 全拦、零假阳;弱点也量化清楚了——假阴 2/6,全部出自测试员坐标接地失手后把自己的失手归因成游戏缺陷。该结论与八条设计约束一起进了 v2 plan §3。

## 资产

- `playtest-agent-spike.cjs`——spike v3 脚本(坐标尺网格 + tap 落点黄环回显 + runner 同点硬提示 + 反早退驳回,四件都是考卷中途实证补上的)。
- `playtest-exam.jsonl`——10 局考卷终榜,每行一局:裁决/问题清单/修复反馈/步数/token。
- `transcripts/`——10 局逐步转写(每步动作、理由、落点、日志尾),复跑产物也落这里。

## 复跑方法

1. 起静态服务与 headless Chrome(与 `game-runtime/games/_wg1-gen/_shared/probe-tap` 一族同起法):游戏工程静态服务在 `--port`(缺省 4998),Chrome 开 CDP 在 `--cdp`(缺省 9331)。
2. 从 `docs/内网凭据与端点.md` 取 NEWAPI_KEY/NEWAPI_BASE_URL 注入环境(内网直连须绕系统代理;脚本用 Node http 直连,天然不走代理)。
3. `node playtest-agent-spike.cjs <gameId> [--model=MiniMax-M3] [--steps=14] [--port=4998] [--cdp=9331]`。被测游戏工程须在静态服务根下可访问(考卷原局在 `game-runtime/games/_wg1-gen/hard-*`,游戏产物按惯例不入库,复跑需先用基线批跑重生成或从归档取)。
4. stdout 一行 JSON 是裁决;转写落 `transcripts/playtest-<gid>.transcript.json`。

## 考卷真相表(10 局,已知真相 9 局)

| 局 | 已知真相 | 测试员裁决 | 对错 | 备注 |
|---|---|---|---|---|
| hard-puzzle-r2 | 坏(取证契约杀之外另有 `8undefined` 渲染真 bug) | fail | ✓ | 报出的局内渲染 bug 旧管线从未见过——旧驱动器从没进过 play 相 |
| hard-trpg-r3 | 坏(战斗场景空壳,缺掷骰按钮与面板) | fail | ✓ | 理由与人工亲眼完全一致 |
| hard-puzzle-r3 | 坏(`hitTile` 四参只传三参,局内点击全哑) | fail | ✓ | 现象层对(点开始无切换);代码归因是推测且偏了——错误归因案③ |
| hard-narrative-r1 | 好 | pass | ✓ | v2 版曾坐标失手误杀;v3 加落点回显+反早退后 12 步通到结局卡 |
| hard-puzzle-r1 | 好 | pass | ✓ | |
| hard-heritage-r5 | 好 | pass | ✓ | 四工序通关,节拍/计分/音效逐项核到 |
| hard-trpg-r4 | 好 | pass | ✓ | 附带两条真实的 UI 裁切现象建议 |
| hard-sim-business-r2 | 好(人工按视觉坐标复点平反:红茶→顾客 serve 日志立现,score 0→7→14) | fail | ✗ 假阴 | 测试员接地失手后归因「按钮热区错位」——错误归因案② |
| hard-heritage-r4 | 好(疑似同类失手,且 14 步预算装不下四工序节拍) | fail | ✗ 假阴 | 预算随进展扩展与 fail 二掷确认(v2 plan §3 第 6/7 条)的直接依据 |
| hard-sim-business-r1 | 好(冻结闭包属取证契约杀,本体真浏览器可玩) | 无裁决(步数尽) | 不计 | 测试员超预算未出裁决,fail-closed 方向安全;不计入判对率 |

计分:已知真相 9 局判对 7;真坏 3/3 全拦、零假阳;真好 4/6 过、2 假阴。成本:10 局共 15.2 万输入 / 0.85 万输出 tokens ≈ ¥2,单轮 ¥0.1~0.25。

## 结论(已固化进 v2 plan)

- **零假阳是这套验收的第一性优势**:三局真坏局全拦,其中两局的理由精确到可直接派修;`8undefined` 案证明测试员看到了旧机械链在物理上看不到的画面。
- **假阴是成本旋钮,不是方向缺陷**:两例假阴同源(坐标接地失手→错误归因),对策不是换方向,而是设计约束——落点回显、runner 硬提示、反早退、预算随进展扩展、fail 二掷确认,全部进 v2 plan §3 波 1 验收标准。
- **测试员失手后会自信地冤枉游戏**(本考卷内三次):修复反馈必须现象/推测强制分离,续修只引用现象段(v2 plan §3 第 8 条与 §2 修复反馈契约)。
- **测试员模型档是显式质量旋钮**:M3 是下限起步,判对率不够就升档,零代码。