oh-my-muse/design-docs/专题-04-生成质量门控与创作健康度设计方案.md
zizi 2124a79312 docs(design): 补知识效用缺环——新增专题-07 消费契约与质量闭环 + 七册配套拍板
第一性原理结论:知识的价值只在被选中并改善产出的那一刻兑现;此前 SoT 钉死了治理
(谁能读什么),缺消费选择(该读哪几条)与输入侧质量(什么算好知识、怎么测)。

- 新增 专题-07 v1(唯一 owner):术语桥(卡↔SoT 载体)、按用途默认消费合同与注入
  视图两档、知识质量三性(可命中/可行动/可持续+口径)、回放评测(参考书=标准答案,
  三评测线+两道合规闸+知识策略对象与上线门禁)、长线进度三期消费、实验台实证附录、
  验收清单 8 条
- 专题-06 v4:拍板双层型判定(craft 1326 条实测无损→不拆,判据不变);新增 §6.4
  参照作品面(参考书实体演变=系统侧证据资产,蒸馏成叙事域成长曲线范式才入 Global);
  世界域六型登记演变历程元素;读取器 purpose 枚举 parse→extraction
- 架构-02 v11:aiContext 值域升级为布尔或用途集(实验台字段级用途裁剪实证反哺)
- 专题-03 v3 / 专题-04 v2(补 .md 改名+离线评估允许样本第 5 类)/ 后端-05 v11 /
  前端-03 v7 / 产品-01·02、前端-02、后端-03 断链修复 / 大纲 v10 / 映射表 v8
- prototypes/ 新增四页签开发者总览

依据:设计文档全库横切取证 + 实验台 9 批实拆实证(活卡 8587、消费端 0 实现、升格
卡向量 0%、p50 实例数 1)。经 codex 与 opus 双独立评审,必修项全部落实。
2026-07-18 00:02:51 +08:00

19 KiB
Raw Blame History

专题-04生成质量门控与创作健康度设计方案

  • 版本v2
  • 更新日期2026-07-17
  • 目标读者:产品 / 架构 / 前端 / 后端 / 测试
  • 阅读时间25-40 分钟
  • 变更记录v22026-07-17§10 离线评估输入补「知识策略版本」、允许样本增补第 5 类参考作品回放样本(两道闸校验,机制归 专题-07-知识消费契约与质量闭环);关联阅读补专题-07物理文件名补 .md 扩展名。
  • 边界说明:本文件承接阶段 1~5定义质量门控(Quality Gate)、创作健康度(Writing Health)、质量策略、有限重写、质量结果展示和质量观测的产品架构合同。AI 编排、上下文组装和运行时权限见 专题-03;精确 Schema、API 和前端组件由后续阶段承接。

1. 定位

质量门控是候选交付前的质量评分和有限重写机制。创作健康度是面向普通用户的质量感知入口。

它们共同解决四个问题:

  1. 在 AI 候选交给用户前,提前发现设定冲突、角色失声、场景断裂、来源风险和安全阻断。
  2. 对关键维度不达标的候选,在 Shadow 内做有限重写,而不是把低质量候选直接丢给用户。
  3. 用创作语言解释风险、来源和改进建议,帮助用户接受、修改、丢弃或重生成。
  4. 给管理员提供策略、评估集和线上效果观测,不替代用户对正文和作品知识的最终决策。

2. 非目标

质量门控不做以下事情:

  1. 不阻止用户手工写作、保存正文或继续创作。
  2. 不把创作健康度做成跨作品排名、作者评分或竞争榜。
  3. 不把私人写作候选的质量评分变成市场发布审核结果。
  4. 不让 AI 绕过用户直接改正文、正式规划或 Local KB。
  5. 不把知识草稿写入 Local KB。
  6. 不把外部来源撤权、召回或合规阻断解释成“已确认事实自动回滚”。
  7. 不替代输入合规、输出合规、权限过滤、语义安全围栏和静态检查等保护节点。

市场发布仍需要权利、隐私、合规和安全审核;创作健康度只能作为作品内创作辅助信号。

3. Owner 边界

对象 Owner BC 说明
Quality Policy AI BC (grant 包) 管理员配置质量维度、阈值、重写次数、展示规则和评估集
Candidate Quality Result AI Orchestration BC 单次候选的质量评分、风险、重写和展示摘要
AI Suggestion AI Orchestration BC 质量门控作用对象,仍属于 Shadow
Block / Block Source Attribution Work/Content BC 候选被用户接受后才写正文和来源归因
Knowledge Draft Knowledge BC 质量结果可影响草稿可确认性,但不自动确认
Source Status Event 来源 owner / Marketplace/Asset BC 撤权、召回、blocked 等来源变化驱动质量结果失效或重验
Writing Health Display User Workspace 展示面 展示 Candidate Quality Result、风险和下一步动作不拥有质量事实
Writing Health Summary AI Orchestration / Account read model 按作品、场景和策略聚合质量趋势;只做观察和解释,不改写候选

质量门控是 AI Orchestration 链路中的保护节点,用户智能体、市场智能体和工作流智能体不可替换。

4. 质量维度

4.1 硬阻断维度

硬阻断维度不是创作质量偏好,而是权限、安全、来源和结构边界。失败时必须 fail-closed不能被用户智能体、市场智能体或质量分数放开。

维度 代码建议 检查目标 失败影响
来源安全 source_safety 是否引用 revoked、delisted、recalled、blocked、owner_missing 或未授权来源 阻断接受、绑定或导出
输出合规 output_compliance 输出是否违反内容安全、隐私、敏感信息或语义围栏 阻断展示或接受
静态结构 static_contract 候选结构、必要字段、lineage、授权快照是否符合合同 阻断展示或接受

4.2 叙事关键维度

叙事关键维度不达标时,可以触发 Shadow 内有限重写;仍不达标时,通常进入 high_risk、需修改后合并或建议重生成。它们默认不是安全硬阻断除非同时触发来源、合规或静态结构问题。

维度 代码建议 检查目标 失败影响
设定一致性 canon_compliance 候选是否与已确认正文、Local KB、正式规划、Narrative State 和有效来源冲突 触发重写;严重冲突可要求显式确认、修改后合并或重生成
角色声音一致性 character_voice 角色对白、行为、语气是否符合角色档案和近期章节表现 触发重写;失败可允许用户修改后合并
场景结构 scene_structure 场景目标、动作链、因果、视角和段落推进是否完整 触发重写;严重断裂时建议重生成

4.3 非关键维度

非关键维度只展示评分和建议,交给用户判断。

维度 代码建议 检查目标 展示方式
文风贴合 style_fit 是否贴合作者语气、句式、节奏和文体 建议修改
节奏张力 pacing_tension 是否维持章节节奏、悬念和推进 建议重写方向
信息密度 information_density 是否过度解释、空泛或信息过载 标注风险
情绪连续 emotional_continuity 情绪变化是否突兀 建议过渡
可读性 readability 段落长度、句式、阅读阻力 建议润色

非关键维度不得单独阻止接受候选。

5. 运行时质量门控

标准链路:

AI Suggestion 生成
-> 静态检查
-> 来源状态校验
-> 硬阻断维度检查
-> 叙事关键维度评分
-> 必要时 Shadow 内有限重写
-> 非关键维度评分
-> Candidate Quality Result
-> 候选可接受性实时校验
-> 创作健康度展示
-> 用户决策

硬约束:

  1. 质量门控只处理 Shadow 候选,不直接写正文、正式规划或 Local KB。
  2. 质量门控读取的上下文必须来自 专题-03 的 Context Assembly Snapshot。
  3. 质量门控必须绑定 Agent Runtime Permission Envelope、Authorization Snapshot、Source Summary 和 Quality Policy Version。
  4. 关键维度重写次数有限,默认建议不超过 2 次;超过后不得无限循环。
  5. 重写只能在 Shadow 内替换候选版本,并保留 rewrite trail。
  6. 输出合规、来源安全、静态结构和授权状态的阻断优先级高于叙事质量评分。
  7. 用户最终看到的是候选和解释,不是内部评测 prompt、完整上下文或供应商响应。
  8. Candidate Quality Result 只给出质量和风险事实;候选最终是否可接受由 专题-03 的候选可接受性实时校验合并判断。

6. Candidate Quality Result

候选质量结果是单次候选的质量快照,不能被后续策略静默改写。策略变化后只能重新评分或生成新版本。

最小语义:

字段语义 要求
candidateId 被评分候选
aiTaskId 来源 AI 任务
qualityPolicyVersion 质量策略版本
contextSnapshotRef 上下文组装快照引用
runtimePermissionEnvelopeRef 运行时权限包引用
authorizationSnapshotRefs 参与评分的授权快照
sourceSummary 使用和排除的来源摘要
hardBlockDimensions 来源安全、输出合规、静态结构等硬阻断结果
criticalDimensions 叙事关键维度评分、状态、原因和重写结果
nonCriticalDimensions 非关键维度评分和建议
riskMarkers 风险标记和影响
rewriteCount 已触发重写次数
qualityState pass / rewritten_pass / high_risk / blocked / unavailable / needs_recheck
userExplanation 普通用户可读解释
createdAt 评分时间

6.1 qualityState

状态 含义 用户可做什么
pass 质量和来源检查通过 接受、修改后合并、丢弃、重生成
rewritten_pass 经有限重写后通过 接受、修改后合并、丢弃、查看重写原因
high_risk 存在高风险但未到强阻断 修改后合并、丢弃、重生成;接受需显式确认或按场景禁用
blocked 合规、来源、静态结构或授权硬失败 不能接受;只能丢弃或重生成
unavailable 评分服务不可用或超时 来源、权限、合规和静态检查不可用时 fail-closed非关键叙事评分不可用时可低置信展示
needs_recheck 来源、授权、正文 revision 或策略版本变化 重验前不能接受

6.2 与风险路由的优先级

质量门控不能单独决定候选可接受性。最终动作由候选接受时实时校验合并:

  1. 合规、安全、来源、授权、静态结构硬失败直接 blocked / invalidated。
  2. 市场作品资产 feature gate、owner 预检、workAssetUsePrecheckId 缺失直接 blocked。
  3. 来源 stale、授权过期、策略版本变化或正文 revision 变化进入 needs_recheck。
  4. 硬阻断检查可用且通过后,叙事关键维度才参与 pass / rewritten_pass / high_risk 判断。
  5. 非关键维度只影响展示建议,不单独阻止接受。

候选接受时实时校验消费 Candidate Quality Result 时必须校验 qualityPolicyVersion、质量结果版本、评分时间、来源状态、授权快照、作品资产 feature gate、目标 expectedRevision 和命令幂等上下文;任一输入变化都必须重算或进入 needs_recheck不能用旧质量结果放行 Accept / Merge。

7. 创作健康度

创作健康度是普通用户的质量感知视图,不是后台评分表。

7.1 展示原则

  1. 用创作语言,不用内部模型术语。
  2. 优先解释“为什么要注意”和“下一步可以怎么做”。
  3. 展示关键风险、来源摘要、质量维度和建议。
  4. 不展示跨作品排名、作者得分、系统内部阈值和模型供应商细节。
  5. 用户可以收起或展开,但不能绕过 blocked 级风险接受候选。

7.2 建议展示结构

区域 内容
总体状态 可用 / 已重写后可用 / 高风险 / 已阻断 / 需重验
关键风险 设定冲突、角色失声、来源撤权、合规阻断等
维度摘要 设定一致性、角色声音、场景结构、文风、节奏
来源摘要 使用了哪些正文、Local KB、授权知识哪些来源被排除
下一步动作 接受、修改后合并、丢弃、重新生成、查看知识草稿、重验来源

7.3 用户反馈文案约束

允许:

  • “这段候选与角色最近的说话方式不一致,建议修改对白后合并。”
  • “引用的知识来源已被召回,当前候选不能继续接受。”
  • “系统已根据设定冲突重写过 1 次。”

禁止:

  • “你的作品健康度低于 80%。”
  • “该作品排名低于同类作者。”
  • “系统认为你不能继续写。”
  • “来源已撤权,已自动回滚正式事实。”

8. 来源冲突和授权变化

质量门控必须消费 Source Status Event 和 Authorization Snapshot。

变化 候选影响 知识草稿影响 导出影响
stale 候选 needs_recheck 或 invalidated 草稿需重验 导出前重验
revoked 禁止新生成和接受引用该来源的候选 禁止来源型确认 禁止进入受限导出范围
delisted 禁止新获取;已授权按治理策略限制 视授权快照处理 视许可处理
recalled 相关候选 invalidated / blocked 草稿不可确认或需重验 相关导出撤销或禁用下载
owner_missing 市场作品资产不得模板化、参考写入或进 AI 上下文 禁止来源型确认 禁止受限导出
blocked 阻断展示或接受 阻断确认 阻断导出

已确认正文和正式知识不自动回滚,但受限来源不得继续用于新生成、新绑定、新导出许可范围、未使用下载凭证或新的知识确认。

8.1 下游承接关系

下游场景 承接 owner 质量/来源结果如何使用
候选接受 专题-01 / Work/Content BC blocked、invalidated、needs_recheck 不能写正文;可接受候选写 Block Source Attribution
知识草稿确认 Knowledge BC / 产品-02C 来源 revoked、delisted、recalled、blocked、owner_missing、unauthorized 或授权无效时禁止来源型确认
知识库绑定 产品-02E / Knowledge BC 绑定前必须校验授权快照、来源状态和处理状态
市场资产安装/绑定 产品-02F / Marketplace/Asset BC 召回、下架、授权变化影响安装、绑定和使用状态
导出交付 Export / Delivery owner / 流程-02B 导出前重验来源、许可、included/excluded manifest、download credential 下载凭证和受限资产范围

9. 质量策略管理

管理员可以配置质量策略,但不能用质量策略替用户做创作取舍。

9.1 策略内容

配置 说明
维度启用 哪些关键/非关键维度参与评分
阈值 不同维度的 pass / high_risk / blocked 边界
重写次数 关键维度可触发的最大 Shadow 内重写次数
场景策略 续写、改写、规划、检测、全书解析等不同策略
展示规则 普通用户看到哪些提示和建议
评估集 用于策略上线前回归的样本集
外发规则 是否允许调用外部模型评估、是否脱敏

9.2 策略生命周期

draft -> evaluating -> active
draft -> archived
evaluating -> draft / active / failed
active -> superseded / rolled_back

约束:

  1. 发布质量策略必须记录管理员、理由、评估摘要和影响范围。
  2. 回滚只影响后续候选评分,不改写历史 Candidate Quality Result。
  3. 质量策略不能关闭输入合规、输出合规、权限过滤、来源状态校验、语义安全围栏和 Shadow -> Canonical 规则。
  4. 市场发布审核不能复用私人写作质量策略作为唯一门槛。

10. 离线质量评估

离线评估用于比较智能体、Prompt、上下文策略和质量策略不直接影响用户当前候选。

默认允许进入离线评估的样本只有五类:

  1. 合成样本。
  2. 公开授权样本。
  3. 用户或发布者显式授权用于评估的样本。
  4. 已按合规规则脱敏、去标识化且不可还原到用户私有正文的样本。
  5. 专题-07 §4 两道闸校验的参考作品回放样本(reference_work 授权四值 + 评测用途授权快照;评测产物不留存原书全文)。

默认禁止进入离线评估:

  • 用户私有正文全文。
  • 私人 AI 候选全文。
  • 完整上下文快照。
  • 完整 Prompt / Response。
  • 外部知识或市场资产全文(经上文第 5 类两道闸校验的参考作品回放样本除外)。

如果未来需要使用真实私有内容做评估,必须先有单独的合规访问设计、授权记录、最小化样本、脱敏策略、审计记录和退出机制;不能由质量策略配置直接打开。

评估输入:

  • 固定评估集版本。
  • Agent Version。
  • Prompt Version。
  • Context Assembly Strategy。
  • 知识策略版本(选择契约参数、注入视图定义、判重规则;其回放评测机制见 专题-07-知识消费契约与质量闭环)。
  • Quality Policy Version。
  • Authorization Snapshot 和来源摘要。
  • New-API Binding 摘要。
  • Runtime Permission Envelope 摘要。

评估输出:

结果 说明
维度得分 按关键/非关键维度聚合
分歧情况 多模型或多评审器意见差异
失败样本 失败原因、来源、上下文摘要
回归风险 与当前 active 策略相比的变化
发布建议 可发布 / 需修正 / 不建议发布

评估结果只能用于管理员判断策略、智能体或 Prompt 是否上线,不直接修改用户作品。

11. 线上质量观测

线上质量观测用于发现策略、智能体、上下文组装和质量门控的真实效果,不用于监控单个作者的创作水平。

观测维度:

维度 说明
质量状态分布 pass、rewritten_pass、high_risk、blocked、unavailable、needs_recheck 的趋势
重写触发 按场景、智能体版本、质量策略版本统计 rewriteCount 和最终状态
用户决策 接受、修改后合并、丢弃、重生成、显式确认的比例
来源风险 revoked、delisted、recalled、blocked、owner_missing、unauthorized、授权过期等事件影响
异常阈值 blocked 激增、unavailable 激增、重写失败率升高、候选丢弃率异常
反馈闭环 用户反馈、申诉、重生成结果和策略回滚建议

线上观测只能保存聚合、脱敏和最小必要摘要。不得为了观测而保存完整 Prompt、完整响应、私有正文全文、候选全文或外部知识全文。

12. 与功能场景的关系

场景 质量门控行为
生成 / 续写 / 扩写 候选交付前评分,关键维度失败可有限重写
润色 / 纠错 / 去 AI 味 重点检查文风、可读性、输出合规和来源继承
修改后合并 对最终正文做输出合规和来源归因校验,旧草稿失效
全书解析 对章节解析结果做静态检查和风险标记,不写 Canonical 知识
一致性检查 输出风险、证据和建议,不直接修改正文或知识
智能体试用 展示试用评分和风险,不进入作品事实
市场资产使用 feature gate 未开启前,作品资产不得进入 AI 上下文;智能体和知识库必须按授权快照使用

13. 验收清单

阶段 6 后,本专题必须满足:

  1. 质量门控不会绕过用户主权直接写正文、正式规划或 Local KB。
  2. 接受候选不会同时写入 Local KB。
  3. blocked 级来源、安全或合规风险不能被用户智能体绕过。
  4. 创作健康度不做跨作品排名或强制创作门槛。
  5. Candidate Quality Result 绑定质量策略、上下文、授权快照、来源摘要和运行时权限包。
  6. 来源撤权、下架、召回、blocked、owner_missing、unauthorized 会让相关候选、草稿、导出或下载进入重验、失效或阻断路径。
  7. 管理员质量策略只影响后续候选评分,不改写历史结果。
  8. 离线评估默认不得使用用户私有正文、私人候选全文、完整 Prompt/Response 或完整上下文。
  9. 线上观测只能保存聚合、脱敏和最小必要摘要。

14. 关联阅读

  • 产品-01-产品定位与核心价值.md
  • 产品-02-核心功能与交互边界.md
  • 产品-02B-管理员控制台功能规格.md
  • 产品-02C-用户工作区与作品工作台功能规格.md
  • 产品-03-用户旅程与操作流程.md
  • 流程-01B-普通用户操作流程(操作视角).md
  • 流程-02B-普通用户系统处理流程(系统视角).md
  • 架构-02-核心数据结构与双轨模型.md
  • 架构-04-状态机与约束清单.md
  • 专题-03-AI编排上下文与质量评测实现规范.md
  • 专题-07-知识消费契约与质量闭环.md