大模型工业级后训练全流程手册

0. 先把全局讲清楚：后训练是一条时序链，不是算法堆叠

后训练文档最容易写散，是因为 SFT、RM、DPO、PPO、GRPO、蒸馏、OPD 看起来都在"让模型变好"，于是文档写成名词百科。真正的关系不是并列，而是时序分工：

每个阶段只解决它该解决的问题：预训练解决"有没有知识"；SFT 解决"会不会做事"；裁判体系解决"什么算好、裁判是否可靠"；DPO 解决"已有偏好对如何低成本修复偏好"；蒸馏/OPD 解决"强能力如何迁移、基本盘如何稳住"；PPO/GRPO 解决"奖励信号下继续优化"——二者不是叠加，而是 RL 阶段按任务类型选择；MixRL 解决多任务多奖励配比；OPE 解决上线前风险预估；灰度解决真实流量验证；Badcase 回流解决"问题如何变成训练资产"。

0.5 阅读前术语速查：缩写、边界、外链与“不要混淆”

这份手册后面会高频出现 RM、ORM、PRM、GRM、URM、critic、DPO、PPO、GRPO、OPD、OPE 等缩写。为避免读者在时序链里“看到词但不知道边界”，本节先给一组速查卡片。正文中部分关键术语也已加为可悬停解释/可点击外链；完整术语表见 第 15 章。

0.5.1 最容易混淆的三组边界

1. 全局策略矩阵：每个阶段用什么、解决什么、不能解决什么

下表是全文总索引，后面每章按此展开。

2. 阶段一：预训练 / 继续预训练——决定上限，不解决偏好

2.1 阶段定位

预训练与继续预训练解决模型底座能力：语言能力、知识覆盖、长上下文理解、图文对齐、公式理解、业务领域术语、任务类型结构。在业务场景中对应：任务讲解模型是否掌握业务领域知识、文稿审阅是否理解文本表达、方案编排是否理解任务类型知识要点、知识问答是否具备事实覆盖、VLM 图像问答能否识别任务描述/公式/图表/几何图。

本阶段不解决"回答是否温和""是否符合偏好""是否过度思考""是否模板化"——那是 SFT、RM、DPO、RL 和成本路由的事。

2.2 与后续算法的关系

预训练提供能力上限 → SFT 把能力任务化 → RM 定义好坏 → DPO/RL 优化偏好 → 蒸馏降本 → 路由决定何时调用深能力。底座没有的知识，SFT 只能补局部，不能大规模弥补缺口；底座图文识别弱，VLM 图像问答后续再 PPO 也难稳定；底座长上下文弱，多轮 SFT 可改善任务表现但超长文档仍受限。

2.3 数据策略

领域继续预训练数据包括：领域文档文本、辅助资料、任务库、知识要点体系、领域规范、优质文稿、问题文稿样本、技术说明、业务录音转写、图文题、手写题、公式图片、几何图、表格题、长材料阅读、用户真实问法。数据不是越多越好，而是要做领域覆盖、质量过滤、去重、版本口径统一和长尾补齐——低质任务库、错误解析、过时领域文档会污染底座。

2.4 成本关系：用训练成本换推理成本

高频知识与高频任务类型被底座吸收后，线上不需要每次深度推理或检索：常见知识要点内化后知识问答走 Low-think；常见任务类型内化后基础任务讲解走 Standard 而非 Deep；常见文稿问题内化后普通批改低成本完成；常见图文题版式内化后 VLM 图像问答减少反复识别验证。

2.5 评测点与回流

不看"用户体验胜率"，重点看：知识覆盖率、长尾知识正确率、长文本理解、任务类型理解、术语一致性、图文/公式识别、表格理解、基础事实幻觉率。若线上 badcase 表现为完全不知道知识要点、术语混乱、长任务描述读不懂、图像/公式识别错误、领域文档版本口径缺失——优先回流到继续预训练语料池或领域知识增强池，而不是塞进 DPO 或 PPO。

2.6 底座诊断：语料质量、覆盖与 loss

底座问题最贵——发现晚、改起来要重训。诊断从语料、覆盖、训练曲线、下游探针四面入手。

2.6.1 语料质量诊断

2.6.2 训练曲线与配比诊断

看 loss / 困惑度走势（发散或长期平台=学习率或数据问题）、配比消融（某领域加权后下游是否真涨）、数据顺序/课程影响。CPT 还要看是否过度拟合领域语料。

2.6.3 下游验证（探针）

用知识探测、少样本任务、长上下文测试探底座能力；CPT 灾难性遗忘检测：继续预训练后在通用能力集回测，领域涨但通用是否退化。

2.6.4 踩坑

评测集泄漏导致虚高（最隐蔽）；CPT 领域语料过量 → 通用能力遗忘；低质任务库/错误解析污染底座；只看 loss 不看下游 → loss 降但能力没涨。

2.6.5 置信度保证与去偏

去重 + 去评测污染设为红线；领域配比留通用语料回放防遗忘；质量过滤 + 版本口径统一；配比变化用下游探针消融验证，而非只看 loss。

3. 阶段二：SFT——把底座能力塑造成业务任务能力

3.1 阶段定位

SFT 解决"模型会不会做任务"。预训练模型可能知道知识，但不知道业务流程。SFT 要教它：任务讲解怎么讲、文稿怎么批、方案编排怎么组织、知识问答怎么解释、VLM 图像问答怎么先识别再解题、多轮对话如何继承上下文、工具如何调用、什么时候简答什么时候详答。格式混乱、指令不跟随、多轮遗忘、任务流程缺失——优先看 SFT，而不是 PPO 或 GRPO。

3.2 与其他算法的关系

SFT 是 DPO、PPO、GRPO 的前置基础：DPO 优化偏好不负责从零教任务；PPO 优化奖励不负责建立任务范式；GRPO 强化可验证推理不负责批改结构、方案编排格式、多轮继承。SFT 底座弱，PPO 会在弱底座上学会投机；SFT 步骤弱，GRPO 可能只提升最终答案不提升讲解质量；SFT 格式弱，DPO 只能局部修偏好不能稳定协议。

3.3 SFT 数据：来源、构建、清洗与样本矩阵

来源：人工编写的高质量示范（种子）+ 更强模型蒸馏 / 拒绝采样扩量 + 线上真实 query 回流（含 badcase 池）+ 合成数据补稀缺任务。构建流程：先由专家写少量"金标准"种子，定义任务范式、字段、格式与成本分层；再用强模型对真实 query 批量生成候选，用 ORM / 规则 / RM 过滤低质，保留通过的样本；稀缺任务（方案编排硬约束、低成本短答等）用模板 / Self-Instruct 合成补齐。清洗校验：语义级去重、去测试集污染、字段完整性与格式校验、长度分布检查（防止全是长答案）、按任务×难度×成本模式配比。风险：蒸馏样本继承教师的啰嗦与套路；全长答案会让模型把"好=长"内化，是后续成本爆炸的根因之一；合成数据多样性不足导致过拟合模板。

3.3.1 分桶差异化采样：不同任务类型用不同 PE、采不同模型

关键原则：不能用一套 prompt（PE）对同一个模型统一采样。不同任务类型对"好答案"的定义、格式、推理需求完全不同——数学要严谨步骤、文稿要文采与结构、VLM 要先识别再解题、方案编排要满足硬约束。一套 PE + 单一模型必然让某些任务类型欠优，还会因同源采样造成风格单一、共同盲区（呼应 12.4 的来源偏差）。正确做法是按任务类型分桶，每桶用各自的 PE 规则、采各自最合适的模型 / 配置：

落地：建一张"任务类型 → PE 规则 → 采样模型/配置 → 验收标准"映射表，按桶分别产出候选，再统一做拒绝采样过滤、去重、去污染与配比（采样分桶差异化，清洗口径统一）。难题桶用更强模型 / 开思考，简单题桶用快模型控成本；每桶单独调 PE 与 few-shot，避免一套 PE 通吃。

3.4 成本嵌入：SFT 必须教模型"不同预算下怎么答"

很多模型越训越贵，是因为 SFT 数据全是长答案——模型以为"好回答 = 详细长回答"，后面 RM/PPO 一奖励，成本就爆炸。同一类任务至少要有：No-think/快速（短答、简单、低风险）、Low-think/轻量（少量解释）、Standard（正常完整）、Slow/Deep（复杂、高风险、高价值，允许长推理和校验）。例如任务讲解：简单题给关键步骤；中等题完整步骤；复杂题多路径推导+错因+迁移；用户只要提示则不给完整答案；用户要求详细则升级深讲。没有这个分层，路由判断出"该低成本"，模型也不会低成本回答。

3.5 评测点

先看任务基本盘：格式合规率、字段完整率、指令约束满足率、多轮上下文继承率、任务讲解步骤完整率、文稿证据引用率、方案编排硬约束满足率、知识问答适配用户率、VLM 任务描述还原链路完成率、不同成本模式下的任务完成率。

3.6 Badcase 回流

格式乱→结构化 SFT；指令漏→复杂约束 SFT；多轮忘→多轮 SFT；任务讲解跳步→过程型 SFT；文稿无证据→证据化批改 SFT；方案编排约束错→结构化方案编排 SFT；简单题过长→低成本 SFT；复杂题浅答→深度 SFT。

3.7 SFT 诊断：数据分布、过拟合退化与指令遵循

SFT 的问题大多在数据而非"训得不够"。先诊断数据，再看训练，最后看能力。

3.7.1 数据分布诊断

3.7.2 欠拟合 / 过拟合 / 退化检测

看 train/val loss 走势：val 不降=欠拟合或数据噪声；train 远低于 val=过拟合。记忆化检测：抽样看是否逐字复现训练样本。灾难性遗忘：SFT 后在通用/底座能力集上回测，是否较预训练版退化。模板过拟合：输出风格是否高度雷同种子。

3.7.3 指令遵循与格式诊断

看格式合规率、多约束满足率（约束越多漏越多即此处弱）、多轮上下文继承率、拒答率与过度拒答。分任务/用户层级/模态下钻定位。

3.7.4 踩坑

全长答案种子 → 成本爆炸根因；模板化种子 → PPO 后更空洞；只堆量不去重 → 记忆化与虚高；只看整体不分桶 → 偏科被平均掩盖。

3.7.5 置信度保证与去偏

语义级去重 + 去评测污染；长度分布均衡（防全长）；任务×难度×成本配比均衡 + 保留通用保护集防遗忘；种子去模板化、来源可追溯（见 3.3）。

4. 阶段三：裁判体系——先建裁判，再谈 DPO/PPO/GRPO

4.1 阶段定位

SFT 让模型会做任务，但不会自动知道多个回答哪个更好。裁判体系解决"什么是好答案"。工业裁判体系不应只有一个 RM，应按任务组合多种裁判（RM / ORM / PRM / GRM / URM），并叠加一个横切的"不确定性"维度：

4.2 RM 和 critic 的边界（必须讲清的混淆点）

4.3 裁判数据：来源与构建（chosen/rejected 从哪来）

RM 的上限就是偏好数据的上限。RM 数据核心是一批 (prompt, chosen, rejected) 三元组，关键是"谁好谁差"这个标签从哪来。工业上四条主线通常混用：

PRM 过程数据怎么造：来源是带推理链的题目；两条路——人工逐步标"对/错/无关"（质量高但极贵，Let's Verify）、或自动标注（对某中间步骤往后多次 rollout 看能否到正确答案，用通过率近似该步质量，Math-Shepherd 蒙特卡洛式）。必须过滤"答案对但过程错""答案错但过程看似对"两类毒样本。

4.3.1 裁判数据矩阵

口径说明：本手册的 URM = User-feedback Reward Model，奖励信号来自线上真实用户对同一 prompt 下不同模型回复的偏好（点踩/点赞与 SBS 实验胜负）；而"低置信/争议样本"归到横切的不确定性维度（业界称置信度校准 / 不确定性量化 / 选择性预测-弃答），二者不要混淆。

4.4 成本嵌入：裁判必须懂"成本匹配"

裁判不能只奖励质量，还要奖励"用合适成本完成任务"：短而有效高分；长而重复低分；复杂题浅答低分；简单题过度深推理也低分；模糊图强行深答低分；低置信时澄清高于乱猜。RM/DPO 数据中必须有成本偏好对：短而有效 > 长而重复；复杂题完整推理 > 简短跳步；用户要简短时简答 > 深度展开；用户要深度时深入 > 表面总结；图片不清先澄清 > 高成本乱猜。

4.5 典型故障与回流

RM 重格式轻内容→PPO 后空洞；RM 重长度→PPO 后啰嗦；RM 重安全→过度拒答；ORM 缺失→答案错但评测过；PRM 缺失→答案对但跳步；GRM 缺失→知道差不知道为什么；不确定性维度缺失→争议/低置信样本污染 RL；URM（用户反馈）缺失→离线裁判说好但线上用户点踩，偏好与真实体验脱节。

回流：空洞但格式好→RM 反投机偏好对；最终答案错→ORM/标准答案库；过程跳步→PRM 步骤标注；裁判说不清原因→GRM 评价理由数据；人工分歧大→不确定性数据（低置信过滤）；离线好但线上被点踩→URM 用户反馈偏好对 + SBS 结果回流；过度长答被高分→成本偏好对；模糊图强答被高分→VLM 不确定性 + 澄清偏好对。

4.6 GRM 离线评估：分布诊断 / 位置偏差 / 长度偏差 / 端到端验证

GRM（Generative / General Reward Model，生成式或综合裁判模型）在后训练链路里当"裁判"，直接影响 RM 过滤、BoN 选择、DPO 数据构造、PPO/GRPO 奖励与 RL 方向。它不能只看单点准确率，要从整体分布、领域分布、位置偏差、长度偏差到端到端 RL 效果多角度评。

4.6.1 整体分布诊断

看所有候选对（pair）的 score = P(B>A) 分布（直方图 + KDE），判断 GRM 能否区分 Ref 与 Candidate 的质量差，以及是否欠拟合 / 过拟合 / 异常偏移。三种典型分布：

4.6.2 各领域分布诊断

同一 GRM 在写作 / 数学 / 代码 / 领域任务 / 知识问答 / 多轮 / VLM / 安全等领域表现可能差异很大，要支持按领域筛选看分布，重点看方向是否符合预期。例如 领域任务 分布明显偏右（大量判 Candidate 优于 Ref）有两种解释：Candidate 在 领域任务 确实更强，或 GRM 在 领域任务 判错——不能单独下结论，须结合人工抽检、领域 benchmark、badcase 与端到端效果。

4.6.3 位置偏差（Position Bias）

位置偏差指 GRM 不按质量、而按回答放在 A 位还是 B 位给某侧更高分——学到了位置模式而非质量。检测法：用 A==B 测试。

关键指标：Mean|diff|、Median|diff|、P90/P95|diff|、diff 超阈值比例、偏向 A 比例、偏向 B 比例。

判读（别只看异常率）：若 Mean/Median 低但超阈值比例高，多是阈值严、样本只是轻微超线——要结合幅度。例：异常率 71.8% 看似高，但阈值 0.1、Mean|diff| ≈ Median ≈ 0.18、偏 A vs 偏 B ≈ 55:45 → 判为轻微位置偏差，双向打分取平均可缓解。若几乎全部超阈值且 Mean / P95 都高、明显偏一侧 → 严重，双向平均也只能部分缓解，噪声仍污染 RL。

原因：训练集 A（或 B）总更好、pair 没随机打乱 A/B、yes/no 与位置绑定、prompt 模板暗示位置、清洗时正负顺序固定、无 position swap 增强。修复：训练数据 A/B 随机化、每对构造正反两向、加 A==B 无偏样本、双向打分取平均、检查 prompt 模板、训练后固定做 position bias 回归测试。

4.6.4 长度偏差（Length Bias）

长度偏差指 GRM 倾向给更长回答更高分（即使不更好）。在 RL 中极危险——PPO/BoN 会放大它，模型学到"越长越好"：回答啰嗦注水、简单题复杂化、开思考变伪思考、reasoning token 涨但质量不升、延迟与成本上升（呼应 8.7）。

为何普通测试集测不出：用 Bo16 vs SFT@3 这类对子，长回答与高质量混在一起——长可能确实更好、也可能只是更长，分不清 GRM 偏的是质量还是长度。必须用长度均衡测试集。

推荐构造流程：① Query 取自 RL Prompt 且不在 GRM 训练集（防泄漏）→ ② 模型多次采样（如 hy3.0 快思考 SFT 采 3 次）→ ③ 机标链路（如 pev4）标胜负作 ground truth → ④ 按长度桶 + 领域均匀采样 → ⑤ 控制长胜 : 短胜 = 1:1 → ⑥ 随机分配 A/B → ⑦ 双向打分 → ⑧ 统计 GRM 判"更长回答胜"的比例。

关键指标：整体 long-win rate、各领域 long-win rate、不同长度差桶的 long-win rate、长度差越大是否越偏长、ground truth 为短胜时是否仍偏长、开 / 关思考对比中是否系统性偏好开思考长答。判断标准：整体与各领域 long-win 控制在 60% 以内大体可控；问答 / 领域任务 / 写作 / VLM 明显超 60% 重点排查；长度差越大越偏长 = 学到"长 = 好"表层偏好。

修复：加"短而有效 > 长而重复"偏好对、加"长但空洞"hard negative、加开思考伪推理负样本、RM/GRM 训练加长度均衡样本、RL 奖励加成本惩罚、DPO 构造短正确 vs 长冗余、按领域单独修。

4.6.5 端到端评估

把 GRM 真正用于 RL，看 RL 前后模型变化来验证 GRM 是否有效——离线分布健康 ≠ 一定带来 RL 收益，真正的裁判质量看它能否指导模型变好。

端到端不能只看平均分，要分领域、分难度、分成本、分模态看。

4.6.6 踩坑：学习率过大导致分布极化

现象：打分呈 U 型（两头高中间空），看似自信实则丧失细粒度判断。原因：GRM 训练学习率过大，在 yes/no 上过度自信，快速记住训练偏好模式——好比阅卷人从打 60/70/80 退化成只打 0 或 100。风险：奖励过硬、训练不稳、细粒度排序下降、reward hacking、BoN 不可靠、中等质量无区分、领域泛化变差。解决：降 lr、缩短轮次、加中难度 pair 与 hard negative、查训练集是否过易、概率校准；观察分布是否从 U 型回到平滑单峰 / 合理偏态；再用位置 / 长度偏差测试确认系统偏差是否消除。

4.6.7 RM / GRM 数据置信度保证与去偏

裁判数据本身有偏，评出来的一切都不可信。一般这样保置信度、去有偏数据：

4.7 ORM / PRM / 不确定性裁判离线评估（与 GRM 同款思路）

GRM 之外，结果裁判 ORM、过程裁判 PRM、以及横切的不确定性裁判（置信度校准 / 不确定性量化 / 选择性预测-弃答）各有专属诊断维度，但同样遵循"分布 / 偏差 → 检测 → 去偏"的思路。

踩坑：ORM 只看最终值会把"过程错但答案对"放行；PRM 自动标注会把"碰巧到对答案"的错误步骤标对；不确定性裁判不校准则置信度不可用；URM（用户反馈）不去偏则学到"标题党/长答/位置"等表面偏好。置信度保证：金标准对齐 + 去污染 + 分领域分层评估 + 定期重测，口径与 4.6.7 一致。

4.8 让裁判评得更稳：LLM-as-Judge 的降方差方法论

不管是 GRM、PRM 还是 LLM-as-Judge，单次评分都有方差与偏差：同一份答案，换个提示、换个顺序、重采一次，分数可能就变。把"裁判"本身当作一个可以 scale（扩展算力/采样） 的能力来经营，业界大致沉淀出四条主线，彼此可叠加：

把你说的"多次采样平衡方差"放进坐标系：它就是第 ① 条。而近期 LLM-as-a-Verifier（arXiv:2607.05391） 的价值在于——它把 ①重复评估、②连续分数、③准则分解 三条统一为"verification 作为一个新的 scaling 轴"，并证明三者都能持续带来增益：粒度↑→正负分离更好、比较更校准；重复评估↑→靠平均降方差；准则分解↑→靠拆解降复杂度。它还给出用连续分做 best-of-N 选择 的低成本排序算法，并能作为 RL（PPO/GRPO/SAC） 的 dense reward 提升样本效率。在 Terminal-Bench V2 / SWE-Bench Verified / RoboRewardBench / MedAgentBench 上取得 SOTA。

5. 阶段四：DPO——低成本偏好修复，不是 PPO 的同义词

5.1 阶段定位与机制

DPO 属于直接偏好优化：不需要显式训练 RM，不需要在线 rollout 和 critic，直接用 chosen/rejected 偏好对让模型更倾向 chosen。通常放在 SFT 和 RL 之间，先把明确偏好问题修一轮，再决定是否进入 PPO 或 GRPO。

5.2 与 SFT、PPO、GRPO 的关系

SFT 只有正样本，教"应该怎么做"；DPO 有正负对比，教"两个回答哪个更好"；PPO 在线生成、RM 打分、策略更新；GRPO 同题多回答组内比较，适合可验证推理。DPO 和 PPO 不是先后必做：很多明确偏好问题用 DPO 就能修，不一定上 PPO；PPO 适合更复杂的在线探索和多奖励优化。

5.3 适合的问题与数据矩阵

适合：文稿审阅空泛、任务讲解跳步但已有优质改写、知识问答百科化、方案编排约束偏好不稳、VLM 不确定时强答、简单题过度思考、复杂题浅答。

5.4 边界与回流

DPO 依赖偏好对质量：chosen 模板化则模型更模板化；偏好对只覆盖某任务可能损伤其他任务；需要探索新推理路径时不如 GRPO；需综合优化安全/有用/成本/体验时可能不如 PPO/MixRL。回流：A/B 中用户明显偏好的修正版→DPO；人工改写的优质答案→DPO；空洞 vs 具体对比→DPO；过长 vs 短有效对比→DPO；低成本错误和高成本正确不能直接 DPO，要先判断任务是否需要深度。

5.5 DPO 诊断：偏好对质量、margin 与退化

DPO 上限就是偏好对上限，且有几个特有失败模式要盯。

5.5.1 偏好对诊断

5.5.2 训练诊断

看 DPO loss、隐式奖励 margin 是否拉开、π 相对 π_ref 的偏移与 KL、β 是否合适。特有失败模式：chosen 与 rejected 的对数似然同步下降（margin 涨但 chosen 概率也跌）——模型靠压低 rejected 拿 margin，生成质量反而退化；β 太小则过拟合偏好对、通用退化。

5.5.3 踩坑

chosen 长度泄漏 → 学成长偏好；β 太小 → 过拟合 + 通用退化；chosen/rejected 似然齐跌 → 似然位移、生成变差；只覆盖单任务 → 跨任务损伤。

5.5.4 置信度保证与去偏

偏好对做长度均衡、A/B 随机化、去模板；难度分层补"都不错但一个更好"的近对；监控 chosen 似然不应大幅下降；多任务覆盖 + 保护集；低 IAA 样本重标或剔除（呼应 4.6.7）。

6. 阶段五：蒸馏与 OPD——能力继承、基本盘稳定和降本

6.1 阶段定位

蒸馏解决三个问题：强模型能力如何迁移给小模型；优质范式如何稳定继承；高成本深度能力如何压缩到低成本路径。蒸馏不是 SFT 的简单重复——它强调从教师模型、线上优质回答、专家样本、BoN 候选、深度推理轨迹中沉淀可继承能力。

6.2 蒸馏、拒绝采样、BoN、OPD 关系

6.3 OPD 和 PPO/GRPO 边界

OPD 是蒸馏不是 RL；PPO/GRPO 是奖励最大化不是教师模仿。OPD 问"学生走到这个错误状态，老师怎么纠正"；PPO 问"这个回答奖励高不高，如何增加高奖励行为"；GRPO 问"同一题多个回答中哪个相对更好"。OPD 适合小模型迁移和真实错误轨迹修复；PPO 适合开放偏好对齐；GRPO 适合可验证推理强化。

6.4 成本嵌入：深度能力蒸馏到低成本模式

深模型生成完整推理，不等于学生也要输出完整推理。工业蒸馏要做轨迹压缩：深度推理轨迹→关键步骤；长答案→标准答案；复杂讲法→低成本可懂讲法；逐段文稿深批→普通批改模板+具体证据；复杂 VLM 解析→高频图文题标准链路。目标：高频请求不必每次调用深模型。

6.5 Badcase 回流

小模型总学不会→OPD；强模型能做小模型做不到→蒸馏/OPD；PPO 后能力退化→能力锚点蒸馏；高频任务成本太高→深到浅压缩蒸馏；旧范式复发→清洗蒸馏集；教师输出有错→蒸馏质检和拒绝采样过滤。

6.6 蒸馏 / OPD 诊断：教师质量、轨迹压缩与错误继承

蒸馏把教师的好与坏一起传给学生，必须先诊断教师与数据。

6.6.1 教师与蒸馏数据诊断

6.6.2 轨迹压缩验证

对比压缩前后：能力是否保持（关键步骤是否保留）、成本是否真降（token/延迟）、有没有把"高成本长推理"也蒸进来。压缩过头 → 关键步骤丢失、难题退化；压缩不足 → 没降本。

6.6.3 OPD 诊断

看学生 rollout 的真实错误覆盖（是否在学生真正会错的状态上纠错）、教师纠正信号质量、on-policy 偏移是否过大。OPD 是蒸馏不是 RL，纠的是"学生这条错误轨迹怎么走对"。

6.6.4 踩坑

教师错误继承；旧范式固化（蒸馏集没清洗）；不做轨迹压缩 → 把高成本也蒸进来；只蒸高频 → 长尾能力丢。

6.6.5 置信度保证与去偏

教师输出先质检 + 拒绝采样/BoN 过滤；蒸馏集去模板、覆盖均衡；轨迹压缩做能力-成本双向验证；OPD 用学生真实错误轨迹而非教师臆造轨迹；保留能力锚点防退化。

7. 阶段六：强化学习阶段——PPO、GRPO 按任务选择，不是混在一起

7.1 阶段定位

RL 阶段在 SFT、裁判体系、偏好优化、蒸馏基础上进一步优化模型。它不应承担基础任务教学，也不应在裁判不可靠时盲训。主要策略：PPO（开放偏好对齐）、GRPO（可验证推理强化）、MixRL（多任务多奖励多成本目标混合）、RLAIF/RLVR（用 AI 反馈或可验证奖励扩展奖励来源）。

7.2 核心关系：同属 RL 阶段，但通常按任务二选一

7.3 PPO 机制

组成：policy/actor（正在训练的模型）、reference model（参考模型，KL 约束）、RM（给完整回答打奖励）、critic/value model（估计未来回报）、advantage（实际奖励比预期高多少）、KL（防止偏离参考模型太远）。

7.4 GRPO 机制

对同一 prompt 生成一组回答，每个回答得到奖励，用组内平均奖励作为基线：比组均好的回答增加概率，比组均差的降低概率，因此减少了 critic 需求。适合"同题多个答案能比较出好坏"、尤其是最终答案可验证的任务。

奖励稀疏时的一个思路：当任务只有"最终对/错"这种稀疏奖励时，可用连续分裁判把奖励变稠密（dense reward）——用裁判对中间过程/子目标给出的连续分作为逐步反馈，能显著提升 PPO/GRPO（乃至机器人任务里的 SAC）的样本效率。这正是 4.8 里连续分裁判的一个下游应用。📄 LLM-as-a-Verifier 作为 RL dense reward (arXiv:2607.05391)

7.5 PPO、GRPO、DPO、OPD 选择矩阵

7.6 MixRL：把 PPO、GRPO、DPO、蒸馏、成本目标放进同一配方

MixRL 不是固定算法，而是工业训练配方。它解决：GRPO 提升推理但不能毁掉文稿审阅；PPO 提升体验但不能让任务讲解答案错；DPO 修风格但不能让方案编排退化；安全奖励提升但不能过度拒答；深度思考提升但不能让所有请求变贵。要混四类东西：任务混合（任务讲解/文稿/方案编排/问答/VLM/多轮/安全）、算法混合（DPO/PPO/GRPO/蒸馏/OPD/SFT 回放）、奖励混合（质量/过程/结果/安全/有用/成本）、保护集混合（通用能力/历史 badcase/核心业务/成本保护）。

7.7 成本嵌入：PPO/GRPO 都必须有预算约束

PPO 容易让回答变长（RM 可能偏好长答案）；GRPO 容易让推理变长（长推理可能提高可验证正确率）。RL 阶段必须加入成本项：输出 token 惩罚、reasoning token 预算、简单题短解奖励、复杂题深解奖励、过度思考惩罚、思考不足惩罚、延迟指标、单位正确答案成本。

7.8 评测点

PPO：开放任务胜率、有用性、安全-有用平衡、空洞率、长度变化、拒答率、基础能力退化率、KL 漂移、单位效果成本。GRPO：最终答案正确率、pass@1、步骤正确率、组内奖励方差、简单题过度推理率、难题思考不足率、通用任务退化率、单位正确答案成本。MixRL：全任务能力曲线、单任务提升是否牺牲其他任务、成本曲线、历史 badcase 复发、安全边界、不同路由模式质量。

7.9 Badcase 回流

PPO 后空洞→RM 反投机 + 奖励修正 + DPO 具体化偏好对；PPO 后啰嗦→成本偏好对 + 长度惩罚 + 低成本 SFT；PPO 后过度拒答→"安全且有帮助"偏好对；GRPO 后简单题过度推理→短解奖励 + 低预算 GRPO + DPO 短答；GRPO 后开放任务退化→MixRL 保护集 + DPO/PPO 体验修复；答案对但过程差→PRM + 过程型 SFT；能力退化→蒸馏锚点 + 降低 RL 更新强度；成本爆炸→路由数据 + 蒸馏降本 + 成本奖励。

7.10 RL 的 prompt 集与 rollout 数据怎么造

来源：真实 query 回流 + badcase 池 + 公开任务库 + 红队 prompt。构建流程：去重、去测试集污染，按任务桶和难度做课程式配比（MixRL）；可验证任务配 ORM/RLVR、开放任务配 RM；训练中由当前策略 rollout 生成轨迹再由奖励评估。清洗校验：prompt 难度要覆盖易→难——太简单的 prompt 提供不了梯度；保留通用 / 开放任务"保护集"防偏科退化。风险：prompt 集偏科导致单任务过优化、其他能力退化；难度过于集中导致奖励信号稀疏。

7.11 训练诊断：曲线、reward hacking 与崩溃排查

RL 不稳是常态，"看曲线"是第一手段。奖励涨 ≠ 变好——必须把训练内信号和外部 benchmark / 人评对照看。

7.11.1 关键曲线诊断

7.11.2 advantage / 更新分布诊断

看 advantage 分布（是否长期偏正/偏负=奖励尺度或基线有偏）、clip 触发比例（过高=步长太大）、重要性比 r_t 分布（远离 1=π 与 π_old 偏离过大）。GRPO 还看组内标准化后优势是否被极端样本主导。

7.11.3 reward hacking 检测

典型信号：奖励涨而 benchmark/人评不涨；输出在长度/格式/特定措辞上爆发式趋同；RM 高分但人工抽检差；某模式（如套话开头、堆 emoji、固定模板）突然高频。检测=训练内奖励与独立外部评测持续对账 + 抽检高奖励样本。根因常在 RM/GRM（先做 4.6 裁判质检）。

7.11.4 崩溃排查

训练发散→降 lr、查奖励尺度与异常值；模式塌缩/熵塌缩→加熵正则、提采样温度、减更新强度；KL 爆炸→调 KL 系数或加 KL 上限；通用能力退化→MixRL 保护集回放、降 RL 步数、蒸馏锚点；GRPO 收益弱→检查组内方差是否为 0、prompt 难度是否过易或过难。

7.11.5 踩坑

KL 太松 → reward hacking；无长度惩罚 → 长度膨胀；熵正则缺失 → 多样性塌缩、答案趋同；GRPO 同题采样太少或 prompt 太易 → 组内方差≈0、几乎无梯度；只看平均奖励不看分领域 → 单任务过优化掩盖其他任务退化。

7.11.6 置信度保证与去偏

奖励来源（RM/GRM）先过 4.6 裁判质检（位置/长度/分布）；奖励里加成本项与长度惩罚；KL + 熵正则防漂移与塌缩；每轮跑保护集与外部 benchmark 防"训练内涨、真实跌"；固定随机种子与配方版本保证可复现。

8. 阶段七：成本路由——No-think 到 Deep 必须嵌入全链路

8.1 阶段定位

成本路由不是放在最后的产品按钮，而是贯穿 SFT、RM、DPO、蒸馏、PPO、GRPO 和上线策略的横向主线。工业模型必须学会：简单任务低成本解决、中等任务标准解决、复杂任务深度解决、高风险任务谨慎解决、低置信任务澄清或检索、高频任务蒸馏降本、长尾难题动态升级。

8.2 思考模式定义

8.3 成本路由和训练阶段的关系

SFT：训练不同成本模式答案。RM：奖励成本匹配。不确定性裁判：用置信度决定是否加预算。DPO：训练"该短时短，该深时深"。蒸馏：深模型能力压缩到低成本模型。PPO：加成本惩罚。GRPO：加预算约束。MixRL：混合能力/体验/安全/成本目标。OPE：预估上线成本。灰度：监控真实 token、延迟、深模型调用率。Badcase：回收答错样本，也回收答贵样本。

8.4 路由策略矩阵

8.5 成本评测指标

平均输出 token、平均 reasoning token、P95/P99 延迟、单位请求成本、单位正确答案成本、单位有效讲解成本、简单任务过度思考率、复杂任务思考不足率、深模型调用率、路由准确率、低成本模式任务完成率、同等质量下成本下降率。

8.6 成本 Badcase 回流

简单题深思→低成本 SFT + DPO 短答偏好；复杂题浅答→深度样本 + 路由升级标注；深模型滥用→路由训练；高频任务成本高→蒸馏降本；PPO 后长答→RM 成本偏好 + 长度惩罚；GRPO 后过度推理→预算约束 GRPO；图片模糊高成本乱猜→不确定性裁判 + 澄清 SFT。

8.7 开思考为何反而比关思考差：伪思考归因

一个常见且反直觉的现象：同一模型"开思考"（输出长 CoT 再作答）整体效果反而比"关思考"（直接作答）更差，呈负向。从算法直觉看更多推理理应不降反升，出现负向几乎一定不是"思考本身有害"，而是开思考这条链路某一环出了问题。

8.7.1 三类病理

三类共同点：开思考把"出错面"放大了——多生成的每段推理都是新的出错机会；若这些推理不真正决定答案（伪思考）或本身是错的（错误思考），净效应就是负的。

8.7.2 按环节归因表：到底哪一环出了问题

8.7.3 诊断方法：先定位再动手

8.7.4 修复方向：让思考"真实且值得"

9. 阶段八：OPE、质检、灰度、上线实验与评测报告——上线风险控制与决策

9.0 上线前全测试链：工程测试金字塔 × 模型评测并轨

本章后面的 OPE / 质检 / 灰度 / SBS / AB 是"模型质量验证"，但一个 AI 系统上线，还必须先过一遍通用的软件工程测试。二者是正交的两个维度：工程测试验证"代码/服务对不对（不崩、接口通）"，模型评测验证"模型答得好不好（劝退率、可用率、SBS 胜负）"。上线前两条都要过。

工程测试遵循由小到大、由内到外、从细粒度到全链路的递进：

极简递进逻辑：单个代码块（单元）→ 模块联动（集成）→ 服务能否跑起来（冒烟）→ 全场景精细校验（系统）→ 迭代防改错（回归）→ 线上放量验证（灰度）。一句话记忆：左塔（工程测试）保证"能跑"，本章后续（模型评测）保证"答得好"——工程测试的终点（灰度/线上）正是模型评测的主场，两条链在第 ⑥ 步汇合。

9.1 OPE 定位与边界

OPE（Off-Policy Evaluation，离线策略评估）不是训练算法，而是上线前用历史数据估计新策略表现：历史流量上新模型可能表现如何、哪些任务可能退化、成本是否超预算、深模型调用率是否过高、长尾是否覆盖。边界：OPE 不能替代灰度——新模型可能生成历史模型没生成过的答案；历史用户反馈不一定可靠；历史流量不覆盖未来长尾；若 OPE 依赖 RM，RM 偏差会污染结论。

9.2 质检：评测负责诊断，质检负责拦截

质检红线：任务讲解答案严重错误不能上；文稿审阅伤害用户不能上；方案编排硬约束错误不能上；知识问答高风险幻觉不能上；VLM 图片不清强答不能上；安全边界越界不能上；成本超预算不能上；历史高危 badcase 复发不能上。

9.3 灰度：真实流量验证

看用户追问率、投诉率、badcase 率、拒答率、任务完成率、首 token 延迟、完整响应延迟、平均 token、深模型调用率，以及不同用户层级、任务类型、模态下的效果差异。

9.4 上线实验体系：SBS / AB / 反转

质检拦红线、灰度看大盘之外，"新模型到底比旧版好不好、好多少、是不是真好"要靠一套实验来回答。工业上三种实验各管一段，串起来才是完整的上线验证链：SBS 看质量 → AB 看业务 → 反转看真实性与持久性。

把三者串成"上限流程"：SBS 质量达标（GSB 显著为正、劝退率不升）→ 小流量灰度无红线 → AB 业务指标显著为正 → 全量放量 → 保留 holdback 做反转复核，确认长期不回落再撤掉对照。任何一环不过都回退并回流 badcase。

实验统计纪律（否则结论不可信）：开实验前按最小可检测效应(MDE)算样本量与周期；用 SRM 校验确认分流无偏；不偷看（peeking 会放大假阳性，需预设观测点或用序贯检验）；可用 CUPED / 分层降方差提速；指标显著性用 9.5 的 P 值口径。详细的失效模式与证伪清单见 9.4.1。

9.4.1 AB 实验为什么会骗你：两大方向 + 证伪清单

AB 报了正收益，不等于收益是真的、更不等于全量后还在。所有陷阱可归到两道关卡：关卡一·统计有效性（这个收益是真的吗）与 关卡二·外部有效性（全量还成立吗）。一句话记忆：方向一是"数据在骗你"，用统计纪律解决；方向二是"实验在骗你"，用实验设计解决。

方向一：结论本身假——三种都在放大假阳性率（FPR）。本质是把随机噪声当成了真信号。

方向一的共同解药只有一句：先定规则，再看数据——样本量、主指标、停止条件全部在开实验前定死。

方向二：结论真但推广失败——三种"时空错配"。统计上完全显著、无懈可击，问题出在"实验环境 ≠ 全量环境"。

上线前自检 checklist：① 样本量/周期是否按 MDE 预先算好并跑满？② 主指标是否唯一且预注册？③ 是否 SRM 通过（分流无偏）？④ 效应是否跨过新鲜期仍稳定？⑤ 分层看是否每层同向（防辛普森）？⑥ 场景是否存在网络效应、需 cluster/switchback？⑦ 放量后是否留 holdback 做反转复核？任何一项存疑，结论都不能直接全量。

本节讲"哪里会错"，下一节 9.4.2 给出与之对应的"标准怎么做"——上面 checklist 的每一条都能在 9.4.2 找到落地机制：③ 对应 SRM 卡方检验与 AA/AB 回溯，④ 对应观测满一个用户周期，①⑦ 对应 MDE 三态判读与 holdback 反转。

9.4.2 A/B 实验标准作业流程（平台化口径）

9.4.1 讲"哪里会错"，本节讲"标准怎么做"——两节一一对应，是同一套 A/B 方法论的"证伪清单"与"作业规程"两面。这套流程可用于通用业务的在线实验与效果评估。核心前提就一句：同一时间、随机分流，用中心极限定理保证两组同质，从而把指标变化因果归因到策略本身。业界数据佐证了它的必要性——一流公司真正上线有效的改动占比极低（微软 ~33%、Bing / Google Ads / Netflix ~10%、Airbnb Search ~8%），决策者远没有自己想象的那么懂用户，靠经验拍板会被认知偏差淹没。

六步实验设计流程：

指标分层体系（T0/T1/T2）——报告与决策的骨架：

实验运行的两道质量门（不过则结论作废、需重做）：

一类 vs 二类错误（一句话记牢）：策略实际无效却判为有效=一类错误（假阳性，用 α 控制，通常 5%）；策略实际有效却没检出=二类错误（假阴性，用统计功效 1−β 衡量）。二者在样本量固定时此消彼长，工程上先控 α、再尽量保功效。

结果三态判读（尤其 P>0.05 时别急着下"无效"结论）：

观测周期：至少覆盖一个完整用户周期（通常 7 天，含工作日与周末）。只看前 3 天会被两件事误导——① 早期进组的多是高活用户，人群分布未稳；② 新奇效应（如红点）带来短期虚高。稳定后再决策。决策：选出优胜组推全，并保留反转（holdback）做长期观测；核心指标冲突时按 T0>T1 护栏>T1 提升的优先级权衡。

9.5 评测报告与指标计算（通用评测口径示例）

实验跑完要落成可决策的报告。下面以 5 档评分、7 类一级标签、P0/P1/P2 严重度和业务权重 GSB 为例，说明可复用的指标口径与分桶维度。

9.5.1 评分分桶与三率

每个模型必须给 0/1/2/3/4 五档占比（不能只给均分），并衍生三率。切片维度必须支持：整体、首轮/非首轮、用户层级、文体、轮次。

单位红线：满足率/劝退率/标签命中差一律用 pp（百分点），均分差用 分；不混用。

9.5.2 标签多层级汇总

标签按 一级（业务大类）/ 二级（用户层级·文体）/ 三级（具体问题，如"逻辑混乱"）/ 四级（更细，如"段落跳跃"） 多层级统计，并叠加 P0/P1/P2 严重度分桶。三种必备能力：

七类一级标签：A 安全 / B 需求理解 / C 内容正确性 / D 内容质量(好不好) / E 信息组织 / F 内容质量(受众适配) / G 内容亮点。注意 D（好不好）与 F（喜不喜欢）是独立维度——"成人化/不像孩子写"归 F，不归 D。

9.5.3 GSB 与 P 值（二项分布双侧检验）

GSB 把两模型对比分成 Good（左胜）/ Same / Bad（左负）。Same 不参与检验；用 Win/Lose 在零假设 P(win)=P(lose)=0.5 下做二项分布双侧检验，判断胜负是否显著、还是抽样波动。

报告红线：每个 GSB 表每行带 p 值徽章，全报告至少出现 1 次 P 值公式框与解读规则。业务权重示例（通用写作 0.34、闲聊 0.23、角色扮演/领域推理各 0.11…合计 1.00），权重缺失按 0 并告警，权重和不为 1 自动归一化。

9.5.4 DCG / NDCG（排序质量）

当评测是"人工把多个模型答案排序"或"答案带分档相关性"时，用 DCG 衡量把好答案排在前面的能力——排序越靠前、相关性越高，得分越大；NDCG 用理想排序归一到 0–1，便于跨 query 比较。

两种典型用法：① 衡量某模型在"多模型答案池"里被人工排到的平均位置质量；② 衡量"模型自排序 / RM 排序"与人工金标准排序的接近度（配合 9.5.5）。低 NDCG 说明好答案没被排到前面——是排序/裁判问题，不一定是生成问题。

9.5.5 RM 偏序比（裁判可信度）

RM 是 PPO 奖励、BoN 选择、DPO 偏好的共同裁判，RM 不可信，整条对齐链都失真。RM 偏序比衡量 RM 给的偏好序与人工金标准偏好序在多大比例上一致。

分桶看偏序比（按用户层级/文体/难度）能定位 RM "在哪类问题上瞎判"——常和第 8.7 的"RM 奖励了思考样式"互为印证。

RM 数据不能只看总分——要下钻到细项、偏序与平局：

RM 训练侧呼应：平局对要么剔除、要么用带 margin 的损失；小分维度可分别建 RM 或用多头，避免单一总分把维度信号糊在一起（见 4.3）。

9.5.6 ROI 矩阵与优化优先级

报告终点是可执行的优先级：把问题标签换算成"修了能涨多少可用率(pp)"，排成 P0/P1/P2/P3。每条带：优先级、方向、关键问题、影响样本数/比例、预期收益(pp)、建议措施，且建议必须挂到训练机制（URM 用户反馈 / 不确定性裁判 / RLVR / 偏好对 / 蒸馏 / 路由），而不是泛泛"加数据"。

9.5.7 三个及以上模型同时比：ANOVA + 事后多重比较

9.5.3 的二项 P 值适合两两对比。但你们常见的是三模型 A/B/C 同轮对比（如同一批 query 下三个模型的均分/评分）。此时若两两分别做 t 检验，会犯 9.4.1 的多重比较错误（3 组要比 3 次，假阳性膨胀）。正确做法是两步：

关键警示：ANOVA 的 F 显著只表示"至少有一组不同"，绝不等于"每两组都不同"。必须继续看事后比较的分组字母/置信区间。这与 9.4.1"多重比较陷阱"是同一个道理——直接两两 t 检验会让假阳性膨胀，ANOVA+事后法才把整体错误率压回 α。

事后多重比较方法怎么选（按目的对号入座）：

用前必查两件事（否则结论不可靠）：① 等方差——各组方差是否接近（可看箱线图/标准差或做等方差检验）。方差明显不齐时，普通 ANOVA+Tukey 换成 Welch ANOVA + Games-Howell。② 残差诊断——残差近似正态、随机分布无漏斗形、无随观测顺序漂移（正态图 + 残差-拟合值图 + 残差-顺序图）；独立性靠数据采集保证（重复测量不能当独立样本，如同一 prompt 多次采样算一条）。③ 统计显著 ≠ 工程显著——均分差 0.01 分即使 P<0.05 也未必有业务意义，须结合 pp 差、可接受最小差异一起判。

10. 阶段九：Badcase 回流——质量问题和成本问题一起回收

10.1 Badcase 分类

Badcase 不只是答错。工业上至少分两类：质量 badcase（错误、空洞、跳步、不安全、不符合任务）和成本 badcase（答对但太贵、太长、太慢、过度深思、路由错误）。

10.2 Badcase 回流矩阵（单一优先归因速查）

下表给的是最常见的优先归因，用于快速分流。但同一现象常有多个候选根因——完整的多根因下钻、判别信号与修复动作见 10.4 交互式故障诊断下钻台。

10.3 Badcase 标注字段（缺一不可工程化）

任务类型、输入模态、用户输入、模型输出、期望输出、问题现象、严重程度、所属版本、是否复现、是否多轮、是否调用工具、是否涉及安全、输入 token、输出 token、reasoning token、延迟、实际路由模式、推荐路由模式、初步归因层级、回流目标池、是否进入评测集、是否进入训练集。

10.4 交互式故障诊断下钻台

同一症状往往对应多个候选根因，分布在不同层。下面是可搜索、可按归因层筛选的下钻台：点开任一症状展开全部候选根因，每条给出判别信号（怎么确认是这一个）、修复动作与章节跳转。用法——先用判别信号逐个排除，锁定根因再动手，避免"症状一出就盲修 RM/PPO"。

11. 业务场景按时序完整穿透

11.1 任务讲解

继续预训练：补领域文档、任务库、知识要点、公式、长任务描述。SFT：题意解析、知识要点、步骤、答案、易错点、用户层级适配。裁判：ORM 看答案，PRM 看步骤，RM 看整体讲解，GRM 解释问题，不确定性裁判识别争议题，URM（用户反馈）反映用户对讲解的点踩/点赞。DPO：清晰讲解胜过跳步，简洁有效胜过冗长。蒸馏/OPD：强模型复杂解题迁移到小模型，学生错误轨迹由教师纠正。RL：可验证题用 GRPO，讲解体验用 PPO，整体用 MixRL 保护其他任务。成本路由：简单题 Low、中等题 Standard、复杂题 Deep。OPE/灰度：答案正确率、步骤完整率、追问率、成本。Badcase：答案错回 ORM/知识，步骤跳回 PRM/SFT，过长回成本 DPO，难题浅答回路由。

11.2 文稿审阅

继续预训练：文稿语料、评分标准、体裁知识、病文、优质文稿。SFT：总评、审题、内容、结构、语言、原文证据、修改建议。裁判：RM 看整体，GRM 给理由，不确定性裁判识别主观分歧和情绪风险，URM（用户反馈）反映用户对批改的采纳/点踩。DPO：具体批改胜过模板批改，温和明确胜过打击式批评。蒸馏：专家批改、逐段批注、修改示例沉淀。RL：PPO 优化语气和体验，不主用 GRPO。成本路由：短文稿标准批改，长文稿/考试文稿深批，批量文稿先低成本初筛。OPE/灰度：空泛率、证据引用率、建议可操作率、投诉率。Badcase：空泛回 DPO/RM，无证据回 SFT，语气过重回安全偏好，长文稿浅评回路由。

11.3 方案编排

继续预训练：任务库、知识要点、难度、任务类型、领域文档目录。SFT：结构化方案编排格式、任务数量、任务类型、答案、解析。裁判：规则/ORM 校验硬约束，RM 判断质量，GRM 解释缺陷。DPO：满足约束胜过格式漂亮但错约束。蒸馏：优质试卷结构沉淀。RL：硬约束可用可验证奖励，通常不主用 PPO；MixRL 保护其他能力。成本路由：简单出题 Standard，完整方案 Deep+规则校验。OPE/灰度：任务数量、任务类型、知识要点、重复率、答案解析。Badcase：硬约束错回 SFT/规则，质量差回 RM/DPO，成本高回工具化和模板化。

11.4 知识问答

继续预训练：补知识覆盖。SFT：定义、例子、易混点、错误前提纠正、适配用户解释。裁判：ORM/规则看事实，RM 看有用，不确定性裁判看置信，GRM 解释错因，URM（用户反馈）反映用户点踩/点赞。DPO：准确清晰胜过百科堆砌。蒸馏：高质量解释和多用户层级解释沉淀。RL：PPO 优化对话体验和安全边界，不主用 GRPO。成本路由：简单定义 Low，易混点 Standard，争议事实走检索/不确定性裁判，深度问题 Deep。OPE/灰度：幻觉率、拒答率、追问率。Badcase：事实错回知识，表达差回 DPO，过度拒答回 RM/PPO，答太长回成本偏好。

11.5 VLM 图像问答

多模态继续预训练：图文题、公式、几何、表格、手写、模糊图。多模态 SFT：识别、还原、任务类型判断、解题、答案、不确定性提示。裁判：OCR/规则看任务描述，ORM 看答案，PRM 看步骤，不确定性裁判看图片置信，GRM 解释错误来源，URM（用户反馈）反映用户对解析的满意/点踩。DPO：澄清优于强答，先识别再解题优于直接猜。OPD/蒸馏：强 VLM 纠正小模型真实图文错误轨迹。RL：标准可验证题可 GRPO，用户体验可 PPO，MixRL 保护文本能力。成本路由：清晰单题 Standard，模糊图澄清，复杂几何/公式 Deep。OPE/灰度：任务描述还原率、答案正确率、用户重拍率、延迟。Badcase：识别错回 VLM 语料，步骤错回 PRM，模糊强答回不确定性裁判，简单图题走 Deep 回路由。

12. 情境示例：难题退化一例 · 全流程数据策略与评测闭环

本章是用于说明方法的通用情境示例，不对应具体企业或项目，按时序串起前面各阶段（SFT→RM→GRM→RL→评测→回流），机制细节链回对应章节，这里只讲"这一轮该怎么决策"。

12.1 全流程策略总览

12.2 SFT 侧：难题专项 + 真实分布保护 + 多轮追问（四池）

不能再用"线上平均表现"做唯一判断，要双线目标：一条线保线上真实分布，一条线补难题专项能力。按四类池子建设：

开放与可验证任务分桶（防跷跷板）：可验证任务重答案正确 / 过程严谨 / 关键步骤；开放任务重要点覆盖 / 表达 / 论证 / 开放题部分得分。混训易此消彼长——本例只做可验证推理任务合理（核心是难题退化）；后续加开放任务应开放与可验证任务分桶、分别评测、小步加量、每次看跷跷板，开放任务开放题单独 checklist、可验证任务难题留保护集。

12.3 RM 侧：配比、开放题 checklist 与小分×GSB 一致性

RM 数据不是越多越好（多了挤占其他 topic 配比）。领域数据可按以下示例配比分层：

封闭题 vs 开放题分开评分：封闭题重结果校验（等价答案、多题对应、单位容错、解析是否支持答案、是否多给/重复答案）。开放题不要粗暴 0/1——新 RM 普遍打 0/1、旧 RM 给 0.x、满分率偏高、区分度下降。推荐 checklist 方案：先生成要点 checklist → 检查命中 → 按命中比例给 0.x → 再结合表达 / 逻辑 / 完整性 / 事实正确性综合 → 输出可解释小分。

小分 × GSB 一致性（重点自查）：取 Δscore = S_B − S_A 对照 GSB——Good 应 Δ>0、Same 应 Δ≈0、Bad 应 Δ<0。大量不一致说明小分权重有问题 / GSB 标注问题 / 某维度被过度放大 / 长度格式影响过大 / 正确性权重不足。偏差检测（位置 A==B、长度均衡、领域方向、开放题极化）口径见 4.6、9.5。

12.4 从标注结果反推策略问题（本例 RM 数据由 a、b 采样标注）

本例 RM 数据来自模型 a（SFT+OPD+RL，裁判 RM）与模型 b（full-think SFT 基线）的采样对子。反推策略前，要先扣掉"用两个同源模型建数据"本身带来的偏差，否则会把数据来源的锅算到策略头上。

12.4.1 先扣掉数据来源偏差

假设 a、b 使用相同底座并经过同期 SFT，差异主要在 OPD+RL 与思考风格，因此这批对子有结构性局限：

结论：这批数据适合判 a vs b 这条轴，不代表能当通用裁判。所以"正确性退化、长度偏差、伪思考"可信度高；"通用区分度、难题真实判定、对抗鲁棒"要靠补 hard negative / 第三方模型样本再确认（呼应 12.3 的 60/30/10 配比）。

12.4.2 从标注结果反推 a 的策略问题

12.4.3 三步定位

① 先做小分×GSB 一致性——背离大=问题在 RM/权重，一致=问题在策略本身；② 再分桶把退化锁到"难题×正确性""开思考×长度"具体格子；③ 最后用 A==B（位置）、长度均衡（长度）、难题 Same 率（共同盲区）把数据来源偏差从策略问题里减出去。

12.5 GRM：先诊断后用，无端到端收益不做主奖励

假设在本例中观察到：单一 rubrics 奖励效果最优，引入 GRM 没有正向增益。因此该情境下 GRM 可先做辅助——case 解释、badcase 归因、开放题辅助判断、RM 分布诊断、领域偏差分析、报告补充；进入主奖励前必须先过 4.6 的分布 / 位置 / 长度 / 极化 / GSB 一致性 / 端到端收益评测。没有端到端收益前不加主奖励权重。

12.6 RL 准入门槛：未过 RM/GRM 评测不贸然训练

RL 是放大器——RM 好则放大好行为，RM 偏则一定放大偏差。进入前设准入门槛：

RL 前后必比：线上真实分布、难题效果集、封闭 / 开放题、多轮、追问、开 / 关思考、冗余乱码、循环论证、多给答案、成本、输出长度、badcase 复发率。若只提升格式 / 冗余但难题继续下降 → 奖励方向仍不对。

12.7 开思考负向：SFT / RM / 评测联动

开思考负向不能直接等于"思考没用"（机制见 8.7）。本例要做开关思考对比集：同批 query 同时生成关思考 / 开思考，看 GSB、总分差、一级小分（正确性 / 解析 / 可读性 / 成本）、标签小分（伪思考 / 冗余 / 幻觉 / 循环论证）、长度差，并分桶（简单 / 难题 / 多轮 / 追问 / VLM）。回流：简单题开思考负向→回路由 + 成本偏好 + 训 no/low-think；难题也负向→回 CoT SFT + PRM + 难题解析 + 清洗伪思考；正确性不升但完整性升→排查小分权重；更长且 GSB 输→构造"短正确 > 长冗余"对 + 长度偏差评测 + 成本奖励。

12.8 十大坑速查

13. 最终统一结论：九层架构

14. 全景思维导图：一张图看懂脉络

先看时序主链，再展开每层分支（▶ 可点击折叠/展开，术语后附英文全称与核心论文跳转）。

15. 名词术语总表：缩写 · 中文 · 英文全称 · 定义 · 核心论文

"—"表示该概念为工程实践/通用统计概念，无单一代表论文；MixRL、Badcase 回流为工业方法论统称。

附录 · 论文与维基百科总索引

核心算法论文（arXiv）

维基百科条目

注：论文链接均指向 arXiv 摘要页（abs），点击后可在页面内下载 PDF；维基条目以英文版为准（内容最全），可在条目左侧语言栏切换中文。