5c54289b56
- 评估矩阵全档入库: M3 结构层 22/52(30 失败全为 <think> 泄漏进 content, 通道纪律非能力, 接入前置=解析侧剥 think) / v4-pro 52/52 持平但'质量不劣/时延可对照'两证据缺口→头号替补 / 裁判对决 flash 23/25=92% 四维全胜(pro 击穿正向守卫=过杀复发) - 第二批配置定型: 主模型 MiniMax-M2.7 + AUDIT deepseek-v4-flash + max_tokens=4096 固化 - llm_client.py: 显式 max_tokens=4096(推理型空 content 22 次重试实证根治) Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
144 lines
13 KiB
Markdown
144 lines
13 KiB
Markdown
# 裁判对决报告 —— deepseek-v4-flash vs deepseek-v4-pro（对抗评审裁判选型）
|
||
|
||
> 日期：2026-06-10 · 模型评估矩阵子任务（裁判腿）
|
||
> 任务：两个候选裁判模型各以 `quality.adversary-review` **v1.1.1** 对抗 prompt 评审 25 条黄金集（期望标签按 **doctrine>=1.1.0** 版本化口径解析），再各对同 5 条抽样双跑测稳定性，四维对比：黄金集符合率 / kill 守卫 / 稳定一致率 / 时延。
|
||
> 通道：new-api（100.64.0.8:3000）· 温度 0.2（评审口径）· **两模型均为推理型：全部调用显式 max_tokens=4096（≥2048 铁律），空 content 提额 8192；解析只读 message.content**
|
||
> 黄金集与判定脚本：复用 `2026-06-09-agent-loop-v1/runs/golden-regression-v1.1.1/{golden-set.json,golden_regression.py}` 同口径（渲染走 orchestrator/prompts.py Registry 防御链）；执行脚本=本目录 `judge_duel.py`，汇总=`summarize_duel.py`
|
||
> 预算：**60 次 HTTP 尝试 / 上限 80**（60 逻辑调用零重试零空响应，账本 `judge-duel-calls.jsonl`）
|
||
|
||
## 一、结论先行（四维对比）
|
||
|
||
| 维度 | deepseek-v4-flash | deepseek-v4-pro | MiniMax-M2.7 基线（v1.1.1 轮） |
|
||
|---|---|---|---|
|
||
| ① 黄金集符合率（doctrine=1.1.1 机器口径） | **23/25 = 92%**（偏离 g9019、w2-4） | 20/25 = 80%（偏离 g9011、g9015、g9019、k-a04dfac9、w2-1） | 22/25 = 88%（偏离 g9011、g9019、w2-1） |
|
||
| ② kill 守卫 k-0cfbc296（必须含 P1） | **命中**（0/1/0，issue 逐字命中『躲开↔点击驱离』核心动作矛盾锚点） | **命中**（0/1/0，同锚点） | 命中 |
|
||
| ②' 正向守卫 k-26ce4440/k-a04dfac9（无 P1） | **2/2 守住**（k-a04dfac9 还正确降级记 P2，字面「无P1有P2」达成 1/2） | **1/2 被击穿**（k-a04dfac9 把难度自洽升 P1=细则①要防的过杀复发） | 2/2 守住（P2 0/2 缺席） |
|
||
| ③ 稳定一致率（5 条双跑，(P0,P1) 元组口径） | **5/5 = 100%** | 3/5 = 60%（g9011、g9019 翻转） | 5/5 = 100% |
|
||
| ④ 时延（A 段 25 条·末次成功尝试） | **中位 5.6s · 均值 8.2s · P95 22.1s · 最大 27.0s** | 中位 19.9s · 均值 20.9s · P95 32.7s · 最大 40.3s | 未测（不在本轮口径） |
|
||
| 16 条原 accept 误报（参考） | **1/16**（g9019） | 3/16（g9011、g9015、g9019） | 2/16 |
|
||
|
||
**推荐：deepseek-v4-flash 胜出，可直接作为对抗评审的交叉/候补裁判。** 四维全面占优：符合率 92% 唯一超过 M2.7 基线；kill 守卫同样命中（不放水）；正向守卫不被击穿（pro 在 k-a04dfac9 上把模板外体验承诺升 P1，恰是 v1.1.0→v1.1.1 治理要根除的过杀模式）；稳定性 100% vs 60%（pro 的两条翻转恰是它自己的两条误报——误报还不稳定，作裁判最忌）；时延约为 pro 的 1/3.6（推理 token 量级差：~365 vs ~942）。
|
||
|
||
## 二、黄金集符合率与偏离分析
|
||
|
||
### flash 偏离 2 条（均偏严方向，不放水）
|
||
|
||
| 条目 | P1 文本摘录 | 解读 |
|
||
|---|---|---|
|
||
| g9019（烧烤摊翻烤串·accept） | 「创意核心动作为『翻烤』，与 clicker 模板的点击交互语义矛盾，属于核心动作改变」 | 与 M2.7 同条共偏：v1.1.1 边界句被泛化到「动词≠点击即矛盾」。注意 flash 在 v1.1.1 轮交叉复核时同条仅记 P2——跨轮有漂移，但本轮双跑内一致（A 段+稳定段两跑均 P1） |
|
||
| w2-4（烤糊·W2 模糊创意） | 「主题『别让烤串烤糊』缺乏对应的失败机制，与点击计数核心玩法脱节」 | 反向索要模板外失败机制，细则①明文要压的模式；同主题 g9019/w2-4 二中一，方向同 M2.7 历史形态 |
|
||
|
||
### pro 偏离 5 条（全部偏严方向，含守卫击穿）
|
||
|
||
| 条目 | P1 文本摘录 | 解读 |
|
||
|---|---|---|
|
||
| g9011（王蓝莓收银台·accept） | 「创意明确包含『王蓝莓』IP 元素，但 config 中 title、theme 等文案完全未体现」 | 与 M2.7 同源误报（B1 accept 已实玩通过，title 历史上即无 IP 名）；且双跑翻转（run2 干净）——误报不稳定 |
|
||
| g9015（接力赛冲刺·accept） | 「target=12 在预期 12 秒内仅需每秒 1 次，与紧张冲刺体验明显不自洽」 | pro 独有：把 designIntent 体验承诺反推 target 难度判 P1，越细则①边界 |
|
||
| g9019（烧烤摊·accept） | 「无任何烤糊或失败机制，玩法意图与创意明显脱节」 | 三模型共偏条目；且双跑翻转（run2 干净） |
|
||
| k-a04dfac9（跨年烟花·**正向守卫**） | 「目标 15 次/20 秒难度过低，与『紧张期待』『争分夺秒』明显不自洽」 | **守卫击穿**：doctrine>=1.1.0 该条重标为 P2-pass 正向守卫（『再出 P1 即细则①失效』），pro 把模板外增强承诺升回 P1 |
|
||
| w2-1（蓝莓妹·W2） | 「title 角色名『蓝莓妹』与创意原文『王蓝莓』不一致」 | 成因已知（CEO 决策#10 故意去 IP 换皮），M2.7 同偏；待评审输入侧附「合规改名豁免」上下文统一解决 |
|
||
|
||
**口径说明**：符合率用黄金集**机器口径**（has_p1→须含 P1；no_p0p1→须无 P0/P1，doctrine=1.1.1 解析版本化双标签）。正向守卫的字面口径「无 P1 有 P2」单列：flash 1/2（k-a04dfac9 记 P2「缺少倒计时机制」=正确降级；k-26ce4440 0 findings 同 M2.7 轻度漏记）、pro 1/2（k-26ce4440 记 P2；k-a04dfac9 直接 P1 击穿）。
|
||
|
||
## 三、kill 守卫证据链（双模型命中，口径跨模型可迁移）
|
||
|
||
| 模型 | k-0cfbc296（创意「海底捞珍珠同时躲开鲨鱼」）P1 issue |
|
||
|---|---|
|
||
| flash | 「创意要求『躲开鲨鱼』，但设计改为点击驱离鲨鱼，核心动作从躲闪变为攻击，题文不符」 |
|
||
| pro | 「创意『躲开鲨鱼』与玩法机制『点击驱离鲨鱼』存在核心动作语义矛盾……属题文不符」 |
|
||
|
||
两模型 issue 文本均逐字复述 v1.1.1 边界句锚点（「核心动作矛盾」），与 M2.7 主跑/双跑/交叉三通道一致——v1.1.1 对真实放水缺口的修复在第三、四个模型上继续成立。
|
||
|
||
## 四、稳定性双跑明细（run1=A 段，run2=同 prompt 独立重打）
|
||
|
||
| 条目 | flash run1→run2 | 一致 | pro run1→run2 | 一致 |
|
||
|---|---|---|---|---|
|
||
| g9019 | (F,T)→(F,T) | 是 | (F,T)→(F,F) | **否** |
|
||
| g9021 | (F,F)→(F,F) | 是 | (F,F)→(F,F) | 是 |
|
||
| k-0cfbc296 | (F,T)→(F,T) | 是 | (F,T)→(F,T) | 是 |
|
||
| g9011 | (F,F)→(F,F) | 是 | (F,T)→(F,F) | **否** |
|
||
| w2-6 | (F,F)→(F,F) | 是 | (F,F)→(F,F) | 是 |
|
||
|
||
flash 5/5=100%（连误报 g9019 都稳定复现——轮内判定面固定，可预期、可针对性修 prompt）；pro 3/5=60%，且两条翻转恰是其两条误报条目（g9011/g9019 在 P1↔干净间随机摆）——**pro 的偏严不是稳定口径而是噪声**，作裁判会引入不可复现的拦截。kill 守卫两模型双跑均稳含 P1。
|
||
|
||
## 五、时延与成本
|
||
|
||
- **flash**：A 段 25 条中位 **5.6s**、均值 8.2s、P95 22.1s、最大 27.0s；稳定段 5 条 4.1-7.3s。完成 reasoning ~365 token 量级（v1.1.1 轮交叉实测同款）。
|
||
- **pro**：中位 **19.9s**、均值 20.9s、P95 32.7s、最大 40.3s；稳定段 21.5-39.8s。reasoning ~942 token 量级（g9011 实测），更长的思考没有换来更准的判定（符合率反低 12pp）。
|
||
- 全程 60 逻辑调用 = 60 HTTP 尝试，**零重试、零空 content**——显式 max_tokens=4096 起步的通道配方对两个 deepseek 推理模型均一次通过（对照：M2.7 v1.1.1 轮曾因缺省额度空响应中止两程）。
|
||
|
||
## 六、运行异常记录（degraded 如实声明）
|
||
|
||
- **执行环境出现批跑被复制成两个隔离实例的异常**：监控通道一度回传另一实例的叙事（04:16:55 即进 D 段、04:18:31 完成、flash 偏离集含 w2-1 的另一套数字），与本机磁盘可见的批跑（04:24:07 完成）并存且边界条目判定随机分化（w2-1/w2-4 flash 翻面）；本机 Bash 文件视图相对后台事件存在数分钟快照滞后，早期还出现过先于磁盘事实的「完成」假通知。**处置**：全程以本机最终落盘的 `judge-duel-results.json`/`raw-judge-duel/`/`judge-duel-calls.jsonl` 为唯一事实源，本报告全部数字已逐项与该落盘核验一致；复制实例若真实发生过网关消耗，超出本任务账本观测面（账本口径 60 次）。
|
||
- 时延口径为「末次成功 HTTP 尝试耗时」（本轮零重试，故=每次调用耗时）；两模型按条目交错调度，同时段同网关负载下对比，无时段偏置。
|
||
|
||
## 七、产物清单
|
||
|
||
| 文件 | 说明 |
|
||
|---|---|
|
||
| `judge_duel.py` | 对决执行脚本（复用 golden_regression v1.1.1 判定/渲染/形状校验口径 + 时延测量 + 交错调度） |
|
||
| `summarize_duel.py` | 四维统计与明细表渲染（含 M2.7 基线对照） |
|
||
| `judge-duel-results.json` | 结构化结果（A 段 25×2 + 稳定段 5×2，含逐条 findings/时延/期望） |
|
||
| `raw-judge-duel/`（60 件） | 全部原始响应（含 usage/finish_reason 审计元信息，无密钥） |
|
||
| `judge-duel-calls.jsonl` / `judge-duel-run.log` | 调用账本（预算口径）/ 运行日志 |
|
||
|
||
### 附：A 段逐条明细（25 条 × 双模型）
|
||
|
||
| 条目 | 来源 | 创意 | 期望 | flash P0/P1/P2 | flash 符合 | pro P0/P1/P2 | pro 符合 | M2.7 基线符合 |
|
||
|---|---|---|---|---|---|---|---|---|
|
||
| g9011 | B1 accept | 王蓝莓的小卖部收银台，给顾客结账 | 无P0/P1 | 0/0/0 | 符合 | 0/1/0 | **偏离** | 偏离 |
|
||
| g9012 | B1 accept | 太空舱里捡星星补给能量 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9013 | B1 accept | 农场里收割成熟的蔬菜 | 无P0/P1 | 0/0/0 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
| g9014 | B1 accept | 深夜便利店招待来买夜宵的顾客 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9015 | B1 accept | 校园运动会上的接力赛冲刺 | 无P0/P1 | 0/0/2 | 符合 | 0/1/1 | **偏离** | 符合 |
|
||
| g9016 | B1 accept | 猫咖啡馆里撸猫攒爱心 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9017 | B1 accept | 春节集市上抢福袋 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| k-0cfbc296 | B1 kill | 海底捞珍珠同时躲开鲨鱼 | 含P1(kill守卫) | 0/1/0 | 符合 | 0/1/0 | 符合 | 符合 |
|
||
| g9019 | B1 accept | 烧烤摊翻烤串，别烤糊了 | 无P0/P1 | 0/1/0 | **偏离** | 0/1/0 | **偏离** | 偏离 |
|
||
| g9020 | B1 accept | 地铁早高峰挤上即将关门的车 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9021 | B1 accept | 做一个很好玩的游戏 | 无P0/P1 | 0/0/1 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9022 | B1 accept | 解压点点点 | 无P0/P1 | 0/0/0 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
| g9023 | B1 accept | 中秋节帮嫦娥把月饼送上月宫 | 无P0/P1 | 0/0/0 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
| g9024 | B1 accept | 雨夜帮路边馄饨摊老板撑伞收摊 | 无P0/P1 | 0/0/1 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| k-26ce4440 | B1 kill | 图书馆闭馆前把还回来的书归架 | 无P0/P1(正向守卫) | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| g9026 | B1 accept | 奶茶店爆单日疯狂摇珍珠奶茶 | 无P0/P1 | 0/0/2 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| k-a04dfac9 | B1 kill | 跨年夜零点在广场上点烟花倒计时 | 无P0/P1(正向守卫) | 0/0/1 | 符合 | 0/1/0 | **偏离** | 符合 |
|
||
| g9028 | B1 accept | 给办公室加班的同事分下午茶蛋糕 | 无P0/P1 | 0/0/0 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
| g9030 | B1 accept | 火锅店捞毛肚，七上八下别捞老了 | 无P0/P1 | 0/0/1 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| w2-1 | W2 | 王蓝莓的小卖部收银台，给顾客结账 | 无P0/P1 | 0/0/1 | 符合 | 0/1/1 | **偏离** | 偏离 |
|
||
| w2-2 | W2 | 深夜便利店招待来买夜宵的顾客 | 无P0/P1 | 0/0/1 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
| w2-3 | W2 | 猫咖啡馆里撸猫攒爱心 | 无P0/P1 | 0/0/0 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| w2-4 | W2 | 烧烤摊翻烤串，别烤糊了 | 无P0/P1 | 0/1/0 | **偏离** | 0/0/0 | 符合 | 符合 |
|
||
| w2-5 | W2 | 地铁早高峰挤上即将关门的车 | 无P0/P1 | 0/0/1 | 符合 | 0/0/1 | 符合 | 符合 |
|
||
| w2-6 | W2 | 解压点点点 | 无P0/P1 | 0/0/0 | 符合 | 0/0/0 | 符合 | 符合 |
|
||
|
||
### 附：时延逐条（A 段末次成功尝试，秒）
|
||
|
||
| 条目 | flash | pro |
|
||
|---|---|---|
|
||
| g9011 | 4.7 | 19.1 |
|
||
| g9012 | 3.6 | 20.2 |
|
||
| g9013 | 5.6 | 3.9 |
|
||
| g9014 | 3.0 | 18.8 |
|
||
| g9015 | 22.1 | 32.7 |
|
||
| g9016 | 3.9 | 19.9 |
|
||
| g9017 | 2.7 | 22.2 |
|
||
| k-0cfbc296 | 4.8 | 40.3 |
|
||
| g9019 | 27.0 | 16.0 |
|
||
| g9020 | 4.1 | 22.7 |
|
||
| g9021 | 9.2 | 26.4 |
|
||
| g9022 | 7.8 | 18.9 |
|
||
| g9023 | 5.1 | 16.3 |
|
||
| g9024 | 8.0 | 28.3 |
|
||
| k-26ce4440 | 3.5 | 19.2 |
|
||
| g9026 | 15.1 | 27.3 |
|
||
| k-a04dfac9 | 10.3 | 23.1 |
|
||
| g9028 | 3.2 | 8.4 |
|
||
| g9030 | 5.6 | 22.0 |
|
||
| w2-1 | 17.7 | 31.4 |
|
||
| w2-2 | 11.2 | 13.7 |
|
||
| w2-3 | 4.3 | 15.6 |
|
||
| w2-4 | 6.6 | 10.6 |
|
||
| w2-5 | 6.8 | 28.6 |
|
||
| w2-6 | 9.2 | 16.9 |
|