zizi-al/muse-agent-example
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
muse-agent-example/.claude/skills/clean-book-text/SKILL.md
zizi b0bc7a8745 框架: 技能按动作-对象重组 + 先审后入创作闭环 
一、技能重组（动作-对象命名）
- 旧目录 clean/confirm/continuation/db/detect/embed/… 重组为
  clean-book-text/decide-candidate/write-next-chapter/access-database/
  check-content-consistency/embed-knowledge/…（git 识别为 rename，内容保持）
- agents/*.md、AGENTS.md/CLAUDE.md 收编、example_skill 登记表同步新名

二、先审后入创作闭环（本次核心）
正文接受从"机械门一过就写正典"改为"机械门+语义审查双通过+用户批准+单事务原子提交"，
DB 级兜底，编排层跳步即被硬拒。
- candidate_cas.py + example_candidate_cas(109)：持久化 CAS 状态链
- fact_delta.py + example_fact_delta/example_fact_ledger(106)：结构化事实增量，
  模型只提六型闭集增量+正文证据引文，仅用户批准的增量随正文同事务入账本
- projection_registry.py + example_projection_run(107)：投影登记与恢复
- acceptance_state.py：接受前置实时状态重读
- lesson_registry.py + example_lesson(108)：经验升格链，禁止自动升格
- DDL 105：example_candidate 增 semantic_status/semantic_report_sha256
- write_canonical.accept：语义兜底+同事务合并增量+登记投影；
  run_writer_pipeline/persist_writer_run/run_writer_semantic_detector/step2 接入全链
- claude_runtime：兼容新 CLI modelUsage 信息字段

三、审查修复（独立子代理四维审查后）
- 事实增量 propose→approve 翻态正道，不撞唯一键
- 冻结配置探针重刷（CLI 2.1.211→2.1.231 漂移），profileSha256/adapterVersion 再登记
- 可视化合同悬空路径/五六空间矛盾、 SoT 旧技能名漂移、行尾空白清理

测试：离线 65 套 + 真实库集成 5 套（CAS/接受故障注入/事实增量/投影/经验升格）+ 回放 79 项全绿。
创作内容（docs/design、生成正文 artifacts）按"框架与创作分开"未入本提交。
2026-08-14 10:24:08 +08:00

4.3 KiB
Raw Blame History

name, description
name description
clean-book-text 识别并删除参考书或旧稿中的广告、水印、作者拉票和乱码噪声，同时保留逐段审计。静态导入后仍有语义垃圾时使用；模型只提候选，确定性守卫决定是否删除，绝不改写正文。

清洗书稿正文

分工（创始人方案 2026-07-13）：规则层已在 import-book 解决结构性垃圾（水印正则/重贴章题/目录页/分页尾巴/残破实体）；本 Skill 处理语义垃圾——变体书站广告、作者拉票/PS 段、微信导流、乱码水印等正则打不全的散落噪声。LLM 只当探测器（输出待删片段逐字原文），删除由脚本执行：零改写、可审计、可回放。探测模型=New-API MiniMax-M3（经 call-content-model 的受治理入口 chat_governed；模型降级与额度治理走全局 BUDGET_CHAIN 与 5h 额度窗，本 Skill 不自写降级链。全链耗尽时该窗记 skipped、不清洗、不返回假成功——网文正文会触发上游敏感词拦截，由治理链自动换模型救回）。

流程

# 放量驱动（每书 prep→detect→apply 全链;断点续跑/幂等防重删;可多进程分书并行）
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_batch.py --work-id 7 --work-id 10 --batch <批次号>

# 单步（调试/演示用）
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_prep.py --work-id 7 [--from 1 --to 50]   # 切窗
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_detect.py --work-id 7 [--win 1]          # M3 探测
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_apply.py --work-id 7 --batch X --file … [--dry-run] [--report-md docs/清洗-N-书名.md]

# 收尾收割：高频水印全书规则扫净（LLM 每窗只报样例,重复水印靠种子收割）
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_sweep.py --work-id 7 --batch X            # 审计自动种子(重复≥3次且≥20字)
.venv/bin/python .claude/skills/clean-book-text/scripts/clean_sweep.py --work-id 4 --batch X --seed "http://m."  # 人工确认的碎水印

# 审查：审计对账
.venv/bin/python .claude/skills/access-database/scripts/db.py query "SELECT batch, count(*), sum(length(removed_text)) FROM example_clean_log WHERE work_id=7 GROUP BY batch"

⚠️ prep 会覆盖 /tmp/muse-clean// 的窗与 manifest——换范围重切前先归档旧产物目录。

守卫体系（脚本硬闸，LLM 建议 ≠ 必删；全部为放量实测病对症）

  1. 长度界：exact 4–500 字；
  2. 章题保护：不得含/命中所在章章题；
  3. 单章顶：单章累计删除 ≤ max(章长 20%, 120 字)——绝对下限救短章（百字残章按比例删不了任何垃圾）；
  4. 行级垃圾特征：exact 每一行必须命中通用垃圾词（ps头/感谢/求票/微信公众号/域名符号/盗版占位语…不含书内专名）或书名水印豁免（孤行=本书名、行含《本书名》）；无特征行拆行跳过（宁漏删不误删——实拦「广告+被截断正文」粘连 3 处）；
  5. 水印裁剪：删除段含明确水印模式（百镀一下/一秒记住…免费阅读）且水印前有前缀时只删水印——防「正文行尾粘水印」误删正文头（实测修复 1 例 3 字误删）。

匹配三级：精确命中 → 空白弹性（M3 折叠 \n\n\n→\n\n）→ 邻章 ±1 容错（长窗内章号偏移；fix 轮还能二次收割邻章重复水印）。三级全失败 → 拒绝。收尾规则：被删 ps 段的前置星号分隔线孤悬章尾则连带清除；被清洗章空行归一。每次删除一行审计（原文/理由/模型/批次），源 txt 永远不动（可整书重导回滚）。

P2 全语料实测（2026-07-13 收口）

  • 8 书 ≈3,300 万字 ≈340 窗；M3 中文 ≈0.58 token/字，总输入 ~20M token；10 万字窗 in≈5.9 万 token、耗时 10–25s；
  • 总删除 1,685 段 / 约 6.1 万字（机破星河 2.4 万最脏、机战无限 1.9 万次之）；误删实测 1 例 3 字（已修复+守卫补上）；
  • 已知残留：作者疲劳话（无通用特征）、「重贴章题+（第N更 求月票）」嵌正文行变体（高风险规则,待拍）、感言/请假条整章（结构性存在,段落清洗不动章）。