4.9 KiB
质量评分(scenario: quality_gate | 保护节点→judge | 上下文=writer 基线包,同证独立)
何时用:候选章交付用户前评分(C6);eval 收敛环的打分步。硬阻断三维(source_safety/output_compliance/static_contract)是规则层检查,不在评委职权。
元数据驱动
维度体系是元数据(专题-04 §4 质量策略族)——维度/阈值/重写次数由策略定义,评委只执行不自造;策略变(如加维度),本 skill 更新表格,judge 一字不改。
叙事关键维度(各 1–5;三维全部 ≥4.0 = 过门;不达标触发 eval 环重写建议)
| 维度 | 5 分长什么样 |
|---|---|
| 设定一致性 canon_compliance | 与已确认正文/知识卡/正式规划/状态台账零冲突;有出乎意料处,回看全在设定与伏笔之内 |
| 角色声音 character_voice | 语言指纹可辨认——遮住名字能认出谁在说话;行为符合行事逻辑与近期章节表现 |
| 场景结构 scene_structure | 场景三件套(目标/推进/收束)齐整,因果与视角不断裂,与上章即时局面无缝衔接 |
非关键维度(各 1–5;只产生建议,不单独否决候选)
| 维度 | 5 分长什么样 |
|---|---|
| 文风贴合 style_fit | 对照文风画像与达标样张无违和;AI 味黑名单零命中 |
| 节奏张力 pacing_tension | 章目标完成,局面发生不可逆变化;章末钩子让人想点下一章 |
| 信息密度 information_density | 不过度解释不空泛;新信息与埋设按需给,无灌水段 |
| 情绪连续 emotional_continuity | 情绪变化有过渡,不突兀跳变 |
| 可读性 readability | 段落长度与句式无阅读阻力 |
输出合同
报告落 works/<书>/评审/第NNN章-评分.md:逐维分数+引文证据;达标结论(关键三维口径);「最值得改的三点」按提升空间排序,每点:问题→根因层猜测(prompt/上下文/设定卡)→具体改法。
细纲回放 profile(fine_outline_replay)
细纲评分是结构事实评估,不复用正文 style_fit、readability、文风一致性、文笔 等维度。每维 1–5 分,分数必须有结构化证据摘要;评委只使用冻结快照和评测侧的 reference scaffold proxy,不读取目标章全文。
| 维度 ID | 评分问题 |
|---|---|
structure_completeness |
目标、关键事件、实体、伏笔、状态变化和钩子是否齐全 |
direction_causality |
关键冲突、结果方向和事件因果是否命中且成立 |
order_pacing |
事件先后和章内推进节拍是否接近结构化标准 |
entity_state |
实体身份、阵营、能力层级和 N 时点状态是否一致 |
foreshadowing_action |
伏笔埋设、推进、回收和时机是否正确 |
handoff_hook |
能否从 N 时点自然承接,并立住下一步钩子 |
评审报告使用以下最小形状:
profile: fine_outline_replay
scores:
direction_causality:
score: 4
evidence: "事件-2 的触发和结果方向与标准事实摘要一致"
两次独立评审的同维差异大于 0.5 时只输出稳定性警告,不据此下卡效用结论。三臂顺序、arm 名称和卡 manifest 对评委隐藏;汇总报告分别给出每维分数、结构门结果、B-A 和 C-A,不压成没有统计意义的单一“卡质量总分”。
正文回放 profile(writer_replay)
正文回放与在线 quality_gate、细纲 fine_outline_replay 完全独立。每维 0-10 分、0.5 步长;双评委独立无会话,第二评委严格反序。报告在去盲前只保留随机候选 ID,禁止出现 A/B/C 或证据策略名称。
| 维度 ID | 评分问题 |
|---|---|
setting_entity_fidelity |
设定、实体、关系、能力边界和冻结时点状态是否保真 |
fine_outline_fidelity |
细纲硬事件、结果方向、伏笔动作、出场实体和章末钩子是否忠实 |
style_consistency |
与冻结历史原文的人物声音、动作习惯、句式和叙事质感是否一致 |
narrative_tension |
场景推进、冲突升级、不可逆变化和章末驱动力是否成立 |
prose_readability |
语言是否准确、自然、清晰且没有明显阅读阻力 |
每维证据数组中的 sourceType 只能是 fine_outline、historical_prose 或 judge_inference;评委自行推断必须显式标注。盲评输入不含卡,禁止评委声称证据来自 card_index,卡效用只由去盲后的 B-A/C-A 差分归因。双评同维分差大于 0.5 时启动且只启动一次第三评委。第三评后,任一评分对差值不大于 0.5 则取三者中位数;否则整章为 invalid_unstable,不得强行计算胜负或进入 Gate 增益统计。