games-development-ai/docs/architecture/架构/生成引擎/assets/quality-02-rubric计分与平衡门.svg

119 lines
11 KiB
XML
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1480 700" font-family="-apple-system,'PingFang SC','Microsoft YaHei',Segoe UI,sans-serif">
<defs>
<marker id="arr" markerWidth="11" markerHeight="11" refX="8" refY="3" orient="auto" markerUnits="strokeWidth"><path d="M0,0 L8,3 L0,6 Z" fill="#334155"/></marker>
<marker id="arrd" markerWidth="11" markerHeight="11" refX="8" refY="3" orient="auto" markerUnits="strokeWidth"><path d="M0,0 L8,3 L0,6 Z" fill="#64748b"/></marker>
<marker id="arrr" markerWidth="11" markerHeight="11" refX="8" refY="3" orient="auto" markerUnits="strokeWidth"><path d="M0,0 L8,3 L0,6 Z" fill="#dc2626"/></marker>
<style>
.t{fill:#0f172a}.mut{fill:#475569}.sm{font-size:12px}.xs{font-size:11px}.xxs{font-size:10px}
.h1{font-size:24px;font-weight:700}.lbl{font-size:13px;font-weight:600}
.flow{stroke:#334155;stroke-width:2;fill:none}
.dash{stroke:#64748b;stroke-width:1.6;fill:none;stroke-dasharray:6 4}
</style>
</defs>
<rect x="0" y="0" width="1480" height="700" fill="#f8fafc"/>
<!-- 标题 -->
<text x="40" y="36" class="t h1">图 2 · rubric 计分制与 F-4 平衡门五裁定</text>
<text x="40" y="58" class="mut sm">L2L4 内容质量怎么打分(逐条 0/1、三分组小计、非阻塞),以及「平衡」这件事谁说了算(真玩动态门权威、静态恒 advisory)。两者都服从防 Goodhart:软信号绝不拿拒发权。</text>
<line x1="728" y1="76" x2="728" y2="648" class="dash"/>
<!-- ===== 左栏:rubric 计分制 ===== -->
<text x="40" y="94" class="t lbl">rubric 计分制(§4)— 逐条 0/1 · 三分组小计 · 不设单一总分</text>
<rect x="40" y="102" width="672" height="60" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.5"/>
<text x="54" y="122" class="t xs" font-weight="700">计分单元:每条 rubric 的最小形状</text>
<text x="54" y="140" class="mut xs">编号 / 层标(L2·L3·L4)/ 一句可判定判据 / 一对正反例</text>
<text x="54" y="156" class="mut xs">评分记 0/1(成立 / 不成立) 逐条给一句理由</text>
<rect x="40" y="172" width="672" height="80" rx="9" fill="#f0fdf4" stroke="#16a34a" stroke-width="1.6"/>
<text x="54" y="192" class="t xs" font-weight="700">三分组小计,不设单一总分(防 Goodhart)</text>
<text x="54" y="210" class="mut xs">一次 LLM 评分同时产 L2 丰富 / L3 留存 / L4 传播 三个分组小计</text>
<text x="54" y="228" class="mut xs">不另起三套评分,也不合成单一总分——单一总分会诱导 Goodhart</text>
<text x="54" y="246" class="mut xs">分组小计才对得上三层各自的消费点(品类件验收 / 批次观测 / 回流)</text>
<rect x="40" y="262" width="672" height="62" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.5"/>
<text x="54" y="282" class="t xs" font-weight="700">两分母分开、不混合平均(规范一·二)</text>
<text x="54" y="300" class="mut xs">通用底座 12 条(L2 7 / L3 3 / L4 2,已实装为现网评分尺)</text>
<text x="54" y="318" class="mut xs"> 品类扩展 ≥4 条(品类特有维度,同形状同层标,独立小计)</text>
<rect x="40" y="334" width="672" height="80" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.5"/>
<text x="54" y="354" class="t xs" font-weight="700">判定形态(规范四):纯 LLM · 非阻塞 · 逐条给理由</text>
<text x="54" y="372" class="mut xs">绝不写成代码校验、不进九门、不进脚手架(创始人红线)</text>
<text x="54" y="390" class="mut xs">评分调用失败 / 超时 / 解析失败 → 降级「本次未评出」</text>
<text x="54" y="408" class="mut xs">不抛、不阻断生成、不进达标判定——评分再错也不拦游戏</text>
<rect x="40" y="424" width="672" height="80" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.5"/>
<text x="54" y="444" class="t xs" font-weight="700">与 L1 断言的分界(规范五):同名两物、分工明确</text>
<text x="54" y="462" class="mut xs">code-presence 类(即时反馈 / 下一个解锁 / 音反馈)软化为 LLM 评分维度</text>
<text x="54" y="480" class="mut xs">经 H 门 assertAfterPlay 的真玩硬断言(score 递增 / currency 扣减)属 L1</text>
<text x="54" y="498" class="mut xs">保留硬断言、不软化——降成软评分会削 L1 拒发权,方向恰好反了</text>
<rect x="40" y="514" width="672" height="126" rx="9" fill="#fffbeb" stroke="#b45309" stroke-width="2"/>
<text x="54" y="534" class="lbl" fill="#b45309">复采样纪律(规范三):确定性锚点治 LLM 漂移,不用另一个 LLM 治</text>
<text x="54" y="554" class="mut xs">每品类 ≥1 金标正例 ≥1 薄反例;rubric / 评分 prompt 变更必金标复验</text>
<text x="54" y="572" class="mut xs">单款分组小计漂移超 ±1 即回退</text>
<text x="54" y="590" class="mut xs">复采样:漂移超 ±1 先同输入复采样 ≥3 次取中位再判</text>
<text x="54" y="608" class="mut xs">(LLM 对逐字节相同输入,单次采样命中数差可达 3,属固有噪声;prompt 未变可机证时不据单样本回退)</text>
<text x="54" y="626" class="mut xs">薄反例先验证「真薄」:模板可能天然品类饱和,此时用合成薄壳作反例、不用模板</text>
<!-- ===== 右栏:F-4 平衡门五裁定 ===== -->
<text x="756" y="94" class="t lbl">F-4 平衡门判法(§8)— 五条裁定(n=5 收敛环 runbook 工单)</text>
<!-- 流程图 -->
<rect x="770" y="106" width="240" height="40" rx="9" fill="#eff6ff" stroke="#2563eb" stroke-width="1.8"/>
<text x="890" y="131" text-anchor="middle" class="t xs" font-weight="700">agent 写玩法数值 / 数据表</text>
<rect x="770" y="164" width="240" height="52" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.6"/>
<text x="890" y="184" text-anchor="middle" class="t xs" font-weight="700">静态自检 economyConsistent</text>
<text x="890" y="202" text-anchor="middle" class="mut xxs">毫秒级 · advisory · 自检工具(非放行判据)</text>
<rect x="770" y="234" width="240" height="56" rx="9" fill="#fef2f2" stroke="#dc2626" stroke-width="2.2"/>
<text x="890" y="254" text-anchor="middle" class="t xs" font-weight="700">真玩动态门(权威)</text>
<text x="890" y="272" text-anchor="middle" class="mut xxs">经济门 win/lose 双路 + H_progress · enforced</text>
<rect x="808" y="312" width="164" height="34" rx="9" fill="#f0fdf4" stroke="#15803d" stroke-width="2"/>
<text x="890" y="333" text-anchor="middle" class="t xs" font-weight="700">L1 放行</text>
<rect x="1052" y="216" width="356" height="66" rx="9" fill="#fffbeb" stroke="#b45309" stroke-width="1.8"/>
<text x="1066" y="236" class="t xs" font-weight="700">失败:数值证据反馈(F-1)</text>
<text x="1066" y="254" class="mut xs">实测值 vs 期望值 一句为什么(不只喂门名)</text>
<text x="1066" y="272" class="mut xs">静态 economyConsistent 差额一并折进;tier2 富三门对齐便宜档厚度</text>
<!-- 流程箭头 -->
<line x1="890" y1="146" x2="890" y2="164" class="flow" marker-end="url(#arr)"/>
<line x1="890" y1="216" x2="890" y2="234" class="flow" marker-end="url(#arr)"/>
<line x1="890" y1="290" x2="890" y2="312" class="flow" marker-end="url(#arr)"/>
<text x="900" y="306" class="xxs" fill="#15803d" font-weight="700">全绿</text>
<line x1="1010" y1="258" x2="1050" y2="252" class="flow" stroke="#dc2626" marker-end="url(#arrr)"/>
<text x="1012" y="244" class="xxs" fill="#dc2626" font-weight="700">失败</text>
<!-- 静态 → agent 回环(差额即时提示) -->
<path d="M768,190 L748,190 L748,126 L768,126" class="dash" marker-end="url(#arrd)"/>
<text x="742" y="160" class="xxs mut" transform="rotate(-90 742 160)" text-anchor="middle">数值差额即时提示</text>
<!-- 反馈 → agent 回环(定向修) -->
<path d="M1230,216 L1230,92 L890,92 L890,104" class="dash" marker-end="url(#arrd)"/>
<text x="1000" y="86" class="xxs mut">F-1 反馈 → agent 定向修(判法不变、反馈变厚)</text>
<!-- 五裁定 -->
<rect x="756" y="360" width="684" height="176" rx="9" fill="#ffffff" stroke="#334155" stroke-width="1.5"/>
<text x="770" y="380" class="t xs" font-weight="700">五条裁定</text>
<text x="770" y="400" class="mut xs">其一 权威 真玩动态门,不回退静态判——静态证明不了「真玩得到」(顾客耐心 / 时序 / 操作节奏只在真玩里)</text>
<text x="770" y="420" class="mut xs">其二 静态判据 agent 自检工具 反馈素材,恒 advisory 不升门(省一轮真玩往返,但永非放行判据)</text>
<text x="770" y="440" class="mut xs">其三 反馈契约 失败必喂数值证据(实测值 vs 期望值 一句为什么),不只喂门名;tier2 富三门对齐便宜档厚度</text>
<text x="770" y="460" class="mut xs">其四 平衡的「调」永远是 agent 玩法职责,工具层不代调(不做数值模板、不补平衡骨架);义务 讲清「为什么不平衡」</text>
<text x="770" y="480" class="mut xs">其五 赢线双源分工——游戏内赢线(agent 可调)/ 验收外生线(不可调);真玩经济门要求两者同时成立</text>
<text x="770" y="504" class="xxs mut">失败反馈须同时暴露三个数:实测终值 · 游戏内赢线 · 验收外生线;若游戏内赢线低于验收地板,直接指出结构性错配、别对着改不动的阈值空转。</text>
<text x="770" y="522" class="xxs mut">两级验收别混:F-1 的「自修通过 ≥2 例」证反馈契约生效;tier2 go/no-go 仍以 F-2 干净复跑与收敛环判定为准。</text>
<!-- 组合诊断处置 -->
<rect x="756" y="546" width="684" height="90" rx="9" fill="#f1f5f9" stroke="#64748b" stroke-width="1.4"/>
<text x="770" y="566" class="t xs" font-weight="700">静态 × 真玩组合的固定处置(裁定二诊断信号)</text>
<text x="770" y="586" class="mut xs">真玩过 · 静态挂 → 放行(静态差额记 warning 进观测,复核静态判据模型)</text>
<text x="770" y="604" class="mut xs">真玩挂 · 静态过 → 失败(问题大概率在耐心 / 时序 / 操作节奏,不在数值总量) · 双挂 → 失败,两组证据并喂</text>
<text x="770" y="622" class="mut xs">真玩无有效观测(探针读不到 state / 驱不到终态)→ 走 harness/driver 故障路径(E/H 门),绝不以静态替代放行</text>
<!-- 脚注 -->
<text x="40" y="666" class="mut xs">映射:游戏质量与爆火能力.md §4(rubric 体系) §8(平衡门五裁定) §3 规范三复采样|状态:现(2026-07-02 决策包⑦生效 · §4 规范三复采样与第 12 条为 07-03 增补)|设计变动须同步本图</text>
<text x="40" y="684" class="mut xxs">注:rubric 计分与平衡门是质量模型 SoT 的两条「怎么判」主线——前者判 L2L4 内容质量(软信号、非阻塞),后者判 L1 经济平衡(真玩硬证据、唯一拒发权);两条都靠确定性锚点封住 Goodhart 与评分漂移。</text>
</svg>