5.4 KiB
5.4 KiB
name, description, disable-model-invocation
| name | description | disable-model-invocation |
|---|---|---|
| 调用内容模型 | 通过 New-API 的统一治理入口调用内容模型,执行额度窗口、模型降级、重试和 JSON 提取。清洗、拆书或知识审核需要 MiniMax 等内容模型时使用;不得裸调外部服务。 | true |
调用内容模型
创始人拍板(2026-07-13):清洗与拆书的内容生产 LLM 全部走 New-API 的 MiniMax-M3;主会话(Fable5)只固化 agent/提示词/skill 与发起调用。本 skill 是唯一出口。
管线内容生产调用的标准入口是 chat_governed(受 5 小时额度窗 + 全局降级链治理);chat/chat CLI 是不受治理的直连,仅供调试。治理政策的机械事实源是运行配置、共享额度账本 example_llm_quota 和模型运行适配器——库实现装为共享包 muse-llm(-e ./muse/platform/llm),调用方 from muse_llm import chat_governed,scripts/llm.py 只是本 Skill 的 CLI;模型链切换必须由该 skill 治理并留下日志。
用法
管线内所有内容生产型 LLM 调用(清洗探测、拆书抽取、知识卡审核等)必须用 chat_governed:
from muse_llm import chat_governed, extract_json
content, usage, used_model = chat_governed(prompt, system=IDENTITY)
if used_model is None:
# 全链耗尽(所有模型敏感/不可用):失败关闭,由调用方裁决
# (拆书硬停 / 判重保守 keep / 审核标 blocked / 清洗该窗跳过),绝不拿空内容当成功
...
data = extract_json(content)
治理合同(chat_governed)
- 5 小时额度窗:共享账本
example_llm_quota按窗计钱计次(窗起点 00/05/10/15/20 点,末窗 20–24=4h)。- MiniMax 模型(M3/M2.7)累计花费 ≥ $24/窗 → 本窗降级链去掉 MiniMax 前缀,只剩
glm-5.2 → deepseek-v4-flash; - 全模型成功调用 ≥ 6000 次/窗 → 打日志、睡到下一窗边界(睡眠期不持 DB 连接)续跑。
- MiniMax 模型(M3/M2.7)累计花费 ≥ $24/窗 → 本窗降级链去掉 MiniMax 前缀,只剩
- 全局降级链
BUDGET_CHAIN=MiniMax-M3 → MiniMax-M2.7 → glm-5.2 → deepseek-v4-flash。 调用方不自写降级链;model参数仅作兼容保留,实际用哪个模型由全局额度策略决定。 - 立即熔断:上游内容安全拦截(
SensitiveError)或模型 Token Plan 耗尽(PlanQuotaExhausted) 不在同模型退避(退避必再触发、空烧),立即沿链换下一个模型;普通 429/5xx 仍指数退避重试。 - 返回值合同:成功 →
(content, usage, actual_model)三元组;全链耗尽 →(None, None, None)。 调用方必须判used_model is None走失败关闭,不得静默拿空内容当成功。 - 记账:只有 MiniMax 模型计入 $24/窗预算,其余模型成本计 0(只占调用数)。
调试入口(chat / chat CLI)——仅调试,默认失败关闭
chat() 是直连单轮对话(返回 (content, usage)),不进额度账本、不走全局降级链:
网络错/5xx/普通 429 指数退避重试,撞敏感/Token Plan 耗尽直接抛异常。
默认失败关闭:未传 allow_ungoverned=True 且未设 MUSE_LLM_ALLOW_UNGOVERNED=1 时直接抛 RuntimeError。
仅供人工调试与单点验证;任何烧真实余额的管线内容生产一律走 chat_governed。chat CLI 同理,须加 --ungoverned:
# 仅调试:显式 --ungoverned 后读 prompt 文件直连调用
.venv/bin/python muse/platform/llm/skills/调用内容模型/scripts/llm.py chat --ungoverned --prompt-file /tmp/p.txt [--model MiniMax-M3] [--max-tokens 32000] [--out /tmp/resp.txt] [--extract-json]
内建保障(chat 与 chat_governed 共用的单次调用机制,调用方不必重复实现)
trust_env=False:本机代理环境变量会劫持内网直连(教训固化);- 默认总 deadline 900s;网络错/5xx/普通 429 可在同一 deadline 内指数退避重试 2 次,额度窗等待超过 deadline 时失败关闭;
max_tokens仅对有实测硬上限的模型(M2.7/GLM)请求前主动裁剪,避免依赖含混的 HTTP 400 文案;system段与任务材料分离(角色遵从更稳、身份段利于上游缓存);extract_json()三级容错:直接解析 → 首尾括号截取 → json-repair 兜底(修中文引号/缺逗号/尾逗号——opus 试拆已实测两类 JSON 病,任何模型都可能犯);- 每次调用向 stderr 打印 token 用量与耗时(成本审计)。
凭据与约束
- New-API 普通令牌只从
MUSE_LLM_TOKEN环境变量读取,base URL 可由MUSE_LLM_BASE_URL覆盖;仓库不得保存令牌,严禁使用管理令牌调用/v1。 - 可用模型以
/v1/models为准(2026-07-13 在列:MiniMax-M3 / M2.x 系 / deepseek-v4-* / glm-5.2 / Qwen 嵌入与重排)。 - 嵌入调用不走本 Skill(已有
生成知识向量,模型与维度钉死)。
数据边界
- 可发起受治理的外部模型调用;不落库除非合同另有声明。
- 不写 Canonical、不改正式规划。
输出
- 面向当前任务的可执行判断、检查清单或改写建议(Markdown 结构化段落)。
- 不直接落库、不代替
写下一章/决定正文候选去留写 Canonical。
复利合同
- 模式 C(平台底座):
lifecycle=platform,D8 不适用;不登记创作经验example_lesson。本 Skill 只提供受治理模型调用,供上游挂 raw/run_id。