本文回顾了2022年至2026年大模型后训练技术的演变，从InstructGPT的经典三段式流程到Llama 2的多轮RLHF，再到Llama 3的工业化配方和开源模型Tülu 3、OLMo 3。文章详细介绍了SFT、奖励模型、PPO、DPO、RLVR等关键概念，以及MOPD和多专家后训练工厂等前沿技术。最后指出，后训练已从算法问题转变为系统工程问题，组织能力和工程规模成为决定模型性能的关键因素。对于想要系统学习后训练的读者，文章推荐了Nathan Lambert的RLHF Book及其配套资源。
这两天听了 Nathan Lambert 对 Finbarr Timbers 的访谈《Frontier Post-Training Recipe Review》[1]，访谈中，两人一起回顾了后训练（post-training）从 2022 到 2026 年的完整演变。
Nathan Lambert 是 AI2（Allen Institute for AI）的前研究员，也是《RLHF Book》（Manning 出版）的作者，他正在录制一套完整的 post-training 课程。Finbarr Timbers 此前是 AI2 的研究员。
正好笔者最近也在整理LLM的技术细节，借这个机会，和大家一起学习一下后训练（post-training）的前世今生。
后训练（post-training） 这个词，在 2022 年之前几乎不存在。那时候人们说 “微调”（fine-tuning） ，指的一般是对整个模型在特定数据集上做进一步训练。但 ChatGPT 之后，语言模型的训练被清晰地切成了两段：第一段是预训练（pre-training），在海量互联网文本上训练一个基础模型，让它学会语言、知识和推理的原始能力；第二段就是后训练（post-training），在预训练之后，用各种方法把基础模型“改造”成一个符合人类期望的对话助手。后训练包括但不限于指令微调（instruction tuning）、奖励建模、强化学习、偏好优化、蒸馏、推理增强……它是一个不断膨胀的方法门类。
这篇文章会做什么？它会带你从零开始回顾后训练从 2022 到 2026 年的关键变化。每到一个节点，我会把当时使用的方法、为什么出现、后来为什么被替代或超越都说清楚。这不会是一篇轻松的文章，有太多需要展开的概念，从 SFT 到 DPO 到 RLVR 到 GRPO 到 MOPD，每个缩写背后都有一段值得讲的故事。如果你愿意花时间读完，你会得到一张后训练的完整地图。
Part 1：GPT前夕，InstructGPT 和它经典的三段式
如果你回忆一下 2022 年底 ChatGPT 刚火起来时人们对“大模型是怎么变聪明的”的理解，答案几乎只有一个——RLHF（人类反馈强化学习）。而 RLHF 的标准叙事是三步走：先做 SFT 让模型学会对话格式，再训练一个 reward model（奖励模型） 来打分，最后用 PPO 在那个打分模型上做强化学习。这三步构成了后训练最初的定义，甚至可以说是很多人对 “对齐”（alignment） 的全部理解。
时间回到 2022 年 3 月。OpenAI 发布了 InstructGPT 论文 Training language models to follow instructions with human feedback[2]。这篇文章在当时并没有引起 ChatGPT 后来那样的轰动，但它定义了一个范式，如何把一个仅仅在互联网文本上训练出来的语言模型，变成一个能听懂人话、遵循指令的助手。
要理解 InstructGPT 为什么重要，首先得理解它之前的做法是什么样的。在 InstructGPT 之前，让模型“变好”的主流方法是 SFT（Supervised Fine-Tuning），也就是监督微调。找一批人来写对话样本：人类写出“如果用户问这个问题，模型应该那样回答”，然后让模型学着模仿这些样本。这个方法的问题在于，人类写的样本毕竟有限，而且人类认为“好的回答”和模型实际生成时遇到的分布并不完全一致。模型可能能模仿样本的格式，但很难学会真正理解用户的意图。
InstructGPT 的三步流程：SFT → 奖励模型 → PPO
InstructGPT 的贡献在于引入了一套完整的、多阶段的改造流程。第一个阶段仍然是SFT，请标注员写出理想的对话样例，让模型先学会基本的格式和风格。这一步的作用是给出一个起点，模型知道它应该以对话形式输出，而不是继续生成无头无尾的文本。
真正让 InstructGPT 与众不同的是第二步和第三步。第二步是训练一个奖励模型（reward model，简称 RM）。方法是让标注员对模型的多组输出做比较，在同一个用户输入下，模型产生了多个可能的回答，标注员告诉系统哪一个更好、哪一个更差。这些比较数据被用来训练一个专门打分的小模型——即奖励模型：给它一个用户输入和一个模型输出，它能输出一个分数，表示这个回答的质量。这个分数将作为强化学习的奖励信号。
第三步是用PPO（Proximal Policy Optimization，近端策略优化）在这个奖励模型上做强化学习。模型继续生成回答，每次生成的回答被送入奖励模型打分，然后 PPO 算法根据这个分数调整模型的参数，让模型学会产生更高分的回答。PPO 是一种在强化学习领域被广泛使用的算法，它的核心思想是让策略更新的步子不要迈得太大，避免一次性改变太多导致模型崩溃。把它用到语言模型上并不是 OpenAI 的首创，但 InstructGPT 展示了它配合奖励模型的巨大效果。
这个三段式在接下来的两年里成了后训练的圣经。几乎所有的后训练工作都能被描述成“InstructGPT 的变体”。但 Nathan Lambert 在访谈中提到一个有趣的观察：
到了 2026 年，InstructGPT 中的每一个环节——除了结构本身作为一个概念参考之外——几乎都被替换掉了。
SFT 使用的数据从人工写的大量示范变成了合成数据；奖励模型不再是 RL 的唯一目标，很多实验室已经把奖励信号和可验证奖励混合使用；PPO 也被GRPO、RLOO、REINFORCE++等新一代 RL 算法取代。三步骤的框架还在，但里面的内容已经完全不一样了。
三个步骤的定义：SFT 给模型一个格式上的起点；奖励模型给一个质量上的判断标准；PPO 在这个标准上做迭代优化。在 2022 年，这三步构成了一个完整、自洽的 recipe，打造了ChatGPT奇迹。但接下来的两年里，每一个步骤都经历了不同程度的升级和挑战。
Part 2：多轮 RLHF，Llama 2 把同样的方法做得更复杂
2023 年 7 月，Meta 发布了 Llama 2。Llama 2 不仅开源了模型权重，还附带了详细的论文，对后训练方法的描述是当时最透明的工业级文档之一。
Llama 2 的后训练仍然是 InstructGPT 路线的延伸，但做了几个重要变化。最显著的是它不再只是做一轮SFT-奖励模型-PPO，而是做了多轮迭代。每一轮迭代中，模型先生成多个可能的回答，用rejection sampling（拒绝采样）从这些回答中选出质量最好的，然后用这些选出的数据做 SFT，最后做 PPO。Rejection sampling 的方法是：给定一个输入，让模型生成 K 个输出，然后利用奖励模型对这些输出评分，只保留分数最高的那批样本。这些高评分样本被用来做进一步的监督微调。
Llama 2 的流程：预训练 → SFT → 多轮迭代 RLHF，每轮包含 rejection sampling 和 PPO
这里能注意到一个重要的变化：InstructGPT 中 SFT 只在最开始做一次，然后就是奖励模型和 PPO；但在 Llama 2 中，SFT 阶段被嵌入到了每一轮迭代中。模型在 PPO 之后生成的更好的输出，被拉回来做 SFT，再继续做 PPO。这是一种迭代优化的思路，每一步的产出都会成为下一步的输入，整个循环重复多次。
Llama 2 还有一个当时颇受关注的创新——它训练了两套奖励模型：一套负责helpfulness（有用性），一套负责safety（安全性）。为什么需要两套？因为这两个目标在某些情况下是冲突的。一个非常“有用”的回答可能绕过安全限制，一个非常“安全”的回答可能显得保守无用。分开训练两套奖励模型，让它们在 PPO 阶段联合发挥作用，是平衡两种目标的工程方案。
从 InstructGPT 到 Llama 2，recipe 的变化反映了后训练从研究项目到工业产品的转变。InstructGPT 更多是证明一个概念：RLHF 可以让模型更好用。而 Llama 2 展示了如何把同样的概念规模化：引入多轮迭代和 rejection sampling 这样的工程技巧，让同一套方法发挥更大的效果。但范式的底层结构没有变，仍然是 SFT + 奖励模型 + RL。
Part 3：Llama 3，工业化配方，但不再做在线 RL
2024 年 7 月，Meta 发布了 Llama 3。如果 Llama 2 是 LLM 后训练工业化的 1.0，那么 Llama 3 就是 2.0。论文中对后训练的描述更加复杂，同时也揭示了一个重要的选择：他们不再在最终阶段使用在线强化学习。
Llama 3 的每一轮迭代是这样的：首先训练一个奖励模型。然后对于每一个训练 prompt，让模型采样 K 个输出。用奖励模型对这些输出做 rejection sampling。选出最好的样本后，不是直接做 PPO，而是先做 SFT，然后做 DPO。这个流程重复了整整六轮，每轮选出的最佳模型会作为下一轮的起点。六轮之后，他们还对最终模型做了额外一轮在偏好数据上的直接优化。
Llama 3 的流程：per round 包含奖励模型、采样、rejection sampling、SFT 和 DPO，无 online RL，六轮迭代
这里有两个需要解释的核心概念：什么是 DPO，以及为什么 Llama 3 不做在线 RL。
DPO 的全称是 Direct Preference Optimization（直接偏好优化）[3]，它由斯坦福大学的研究者在 2023 年提出。DPO 的核心洞察非常巧妙：如果你仔细分析 RLHF 的数学结构，你会发现训练奖励模型+做 PPO 的过程，其实可以被直接转化为一个关于偏好数据的损失函数——你不需要一个显式的奖励模型，也不需要一个 PPO 训练循环，你只需要偏好数据本身。给定一个偏好对（chosen 和 rejected 样本），DPO 的损失函数会让模型增大选择 chosen 的概率、降低选择 rejected 的概率。这个方法的优势在于大幅降低了训练的复杂度：不需要奖励模型的单独训练和 PPO 循环中的采样和稳定化。
Llama 3 选择 DPO 而非 PPO 来做最终的偏好优化，是一个很务实的选择：效果接近，但工程上简单得多。
DPO VS. PPO
而 Llama 3 不做在线 RL（也就是不在训练过程中实时采样模型的新输出来做 RL），同样是一个务实的选择。在线 RL 意味着你需要同时运行一个生成模型和一个训练模型，通过不断生成新数据来做更新。这在工程上非常复杂，对推理基础设施的要求很高。Llama 3 的做法是把生成和训练解耦，先批量生成候选输出，过滤，再用过滤后的数据做 SFT 和 DPO，然后进入下一轮。这被称为 off-policy（离线策略） 的方法，模型从自己过去的输出中学习，而不是从当前最新的策略中实时采样。
这个设计的特别之处在于它揭示了后训练领域一个当时重要但鲜少被谈论的点：在效果和工程复杂性之间，不同的实验室有不同的取舍。Llama 3 的团队显然选择了降低工程复杂性的路线，但离线策略的代价是可能错过在线策略带来的额外提升。后续发展中，为什么到 2025–2026 年几乎所有前沿实验室又回到了在线 RL 上？是后面几个部分要回答的问题。
可以说，Llama 从此一蹶不振……
Part 4：开源的高光与天花板，Tülu 3 和 OLMo 3
在 Llama 3 发布几个月后，两个来自学术和研究机构的开源后训练登上了舞台，它们是 Tülu 3 和 OLMo 3。它们的后训练方法代表了开放研究的最高水平，但同时也暴露了一个后来愈发明显的趋势：开源的 recipe 正在被前沿实验室的工业化 recipe 甩开距离。
Tülu 3 是 AI2（Allen Institute for AI，属于非营利研究机构）发布的一个完全开放的后训练模型和 recipe，2024 年 11 月推出。它之所以叫“Tülu”是因为这是一个开源生态系统，名字来源于一种长毛牛，象征着“开放但强悍”。Tülu 3 的论文和数据集完全公开，提供了从数据收集到训练方法的全部细节。它为当时无法复制前沿闭源模型后训练的社区，提供了一个可信的、可操作的开放替代方案。Tülu 3 的一大贡献是提出了RLVR这个缩写——RL with Verifiable Rewards（带有可验证奖励的强化学习）。
OLMo 3 是 AI2 在 2025 年 12 月推出的推理模型。相比 Tülu 3，OLMo 3 走得更远——它不仅是一个对话助手，还带有reasoning（推理）能力，能在回答问题前进行长时间的深度思考。OLMo 3 完全开放（模型权重、数据、代码全部公开），被认为是当时最具竞争力的开放推理模型之一。它的后训练在 Tülu 3 的三段式基础上做了扩增，区分出 think（推理）、instruct（指令跟随）和 RL-zero（纯强化学习）三种分支，分别走自己的 SFT → DPO → RLVR 流程。
Tülu 3 的三段式后训练：策划 prompt → SFT → DPO → RLVR
Tülu 3 的 recipe 可以说是 InstructGPT 路线的自然延伸和极简版。它仅用了三个步骤：精心策划训练用的 prompts，做 SFT，做 DPO，然后在可验证奖励上做 RL。RLVR（RL with Verifiable Rewards） 是一个值得多解释几句的概念。传统的 RLHF 依赖人类偏好来训练奖励模型，然后在这个模型上做强化学习；RLVR 则换了一种思路，你不需要一个打分模型，而是用可以被自动验证的规则来给出奖励信号。比如数学题，答案对不对是客观的；代码题，代码能不能通过测试是客观的；甚至某些逻辑推理题，最终的答案是否正确也是客观的。当你拥有的任务可以被这样自动判定时，RL 的效率会大幅提高，因为你不再依赖人类标注员的偏好判断，而是可以直接用正确/错误来驱动学习。
Nathan Lambert 在访谈中回忆了 Tülu 3 的定位：
在当时，Tülu 3 的简单三段式 recipe 和前沿实验室的实际操作其实差距不大。Model 的能力还没有拉开到需要非常复杂的后训练流程。但到了 2025 年底的 OLMo 3，情况已经变了。OLMo 3 需要用 SFT → DPO → RLVR 来做推理模型，Nathan 和 Finbarr 都坦言，这个简单的三段式在面对 DeepSeek R1 和之后的一系列前沿模型时，天花板是很明显的。
OLMo 3 的流程：预训练 → 中训练 → 长上下文，然后在 Think / Instruct / RL-Zero 三条分支上各走 SFT → DPO → RLVR
Nathan 在访谈中说得非常坦白：
OLMo 3 的后训练是在 AI2 现有的组织架构和资源限制下能做出的最佳成果。但 recipe 本身太简单了，它已经不再代表最前沿实验室的做法。
这句话揭示了一个贯穿整个 2026 年的趋势：后训练不只是算法问题，也是组织能力问题。模型规模越大、能力越强，做后训练的实验成本就越高。做一轮完整的六周、使用数千张 GPU 的训练实验，需要成熟的工程团队、稳定的数据管道和足够的算力储备。对于 AI2 这样的研究机构来说，资源限制了 recipe 的复杂度。一个简单的 recipe 可能只差几个百分点，但那些百分点恰好是世界上最贵的那几个百分点。
这个差距在 2025 年初被 DeepSeek R1 撕开了一个巨大的口子。
Part 5：真正的转折点，DeepSeek R1 和 Reasoning RL 成为主角
2025 年 1 月，DeepSeek 发布了 R1 模型。这篇论文和模型一起爆炸性地火遍了整个 AI 圈，但大多数人关注的是模型的推理能力，一个开源模型在数学和编程上达到了当时最佳的推理表现。比较少人深入讨论的是，R1 的后训练 recipe 和此前所有主流方案完全不同。
DeepSeek R1 的多阶段后训练流程：R1-Zero 纯 RL → cold-start SFT → reasoning RL → rejection-sampling SFT → final RL → distill to dense
R1 的后训练有两个阶段需要分开看。首先是 R1-Zero，它甚至不是一个产品级的模型，而是整个 recipe 的探索阶段。R1-Zero 的做法极其大胆：拿 DeepSeek V3 的基础模型，直接在上面做 GRPO（Group Relative Policy Optimization），不做任何 SFT。GRPO 是 DeepSeek 自己提出的 RL 算法，属于 PPO 的一种变体。它不用训练一个单独的 critic network（价值网络），而是通过在同一组采样中比较不同输出的相对质量来计算优势。简单的说，就是给模型同一个问题，让它生成多组输出来“竞标”，以组内的相对好坏作为奖励。没有人类示范、没有偏好数据、没有对话模板训练，只有问题和可验证的答案（正确性作为奖励信号）。R1-Zero 通过这些信号学会了推理行为：它会自己生成长串的思考过程（chain-of-thought），主动检查自己的中间步骤，甚至在遇到错误时回溯重新推导。这些都是从 RL 信号中自主涌现出来的，不是用 SFT 教出来的。
PPO VS. GRPO
然后 R1 本体的 recipe 就是在这个基础上的精细工程了。它的流程是：先用少量高质量的 cold-start SFT 数据（包含推理过程的示范），给模型一个格式上的起点；然后做 reasoning RL（使用 GRPO 对数学、代码等可验证任务做大规模 RL）；之后用这个 RL 后的模型来生成大量推理数据，经过 rejection sampling 筛选，做一轮 SFT（把 RL 中学到的推理行为蒸馏成结构化的训练数据）；最后再做一轮更大的 reasoning RL。整个过程在多个阶段之间切换，SFT 不是教模型新东西，而是把 RL 中学到的行为固化下来、去噪、精炼。
这种设计背后的思维转变非常深刻。在 InstructGPT 时代，SFT 是主体，给模型看人类的最佳示范，让模型复制。RL 只是在最后阶段做一次性的优化。而在 R1 中，RL 成了主体，SFT 降级为一个辅助工具，它的作用不是教模型新能力，而是整理 RL 探索出来的行为模式、清理格式、降低不稳定因素。Nathan 在访谈中这样说：
SFT 在 R1 中的主要作用是作为 RL 的冷启动——让模型在开始 RL 之前先学会推理应该长什么样子。传统的 SFT 是一个普遍有用的阶段，但在 R1 这里，它的目的非常纯粹，就是为 RL 铺路。
另一个值得注意的变化是：DPO 消失了。查阅 R1 的论文，你会发现没有 DPO 这个环节。这并不是 DeepSeek 的独有做法，接下来发布的几乎所有前沿模型，从 Nemotron 到 MiMo Flash V2 到 DeepSeek V4，全都没有 DPO。Nathan 和 Finbarr 在访谈中对这个现象交换了意见。Nathan 的看法是：
当你有一个足够精良的工业化后训练流程时，DPO 能提供的额外收益会越来越小。因为 DPO 本质上是帮你清理分布边缘的粗糙边界。如果你的 SFT 数据和基础模型之间的分布差距很大——比如 OLMo 大量使用来自更强模型（Qwen、DeepSeek）的蒸馏数据做 SFT——那么 DPO 确实能帮你再清理一轮。但如果你自己就是一个顶级模型，你的 SFT 数据本身就是用你自己的策略生成、过滤的，那么 DPO 的边际收益就很小了。
不过 Finbarr 提出了一个有趣的对照：
Nemotron 3 Super 的论文中展示了一个传统的 RLHF 阶段——用一个旧式的、已经“过时”的 RLHF 训练——结果带来了可观的性能提升。一些方法的被淘汰可能不完全是因为效果不好，而是受学术风潮影响。我个人认为这个观察值得记住——后训练领域很多所谓的“共识”，可能并没有经过严格的消融实验来验证。
DeepSeek 在 R1 之后的连续发布，构成了一条更宏大的演变线索：
- 2024 年 12 月：DeepSeek V3——使用 SFT + GRPO，和 Llama 3 的 recipe 相当接近
- 2025 年 1 月：DeepSeek R1——多阶段 RL，推理能力涌现
- 2025 年 8 月：DeepSeek V3.1——在一个模型里同时融合 thinking（推理）和 non-thinking（即时回答）两种模式
- 2025 年 12 月：DeepSeek V3.2——用 RL 训练了 6 个领域专家(specialists)，然后把它们蒸馏到一个模型中，再做一轮混合 GRPO
- 2026 年 4 月：DeepSeek V4——10+ 领域专家，使用 MOPD 合并
整整一年半的演进，从简单的 SFT+GRPO 到多专家多教师蒸馏，几乎就是整个行业后训练演进史的微缩版。每一个阶段的 R1 recipe 都被下一阶段继承、突破、取代。到了 V4 的时候，recipe 已经和当初的 R1 完全不同了，它不再是“一条流水线”，而是“一个工厂”。
Part 6：2026 的新格局，MOPD 和多专家后训练工厂
如果说 R1 到 V3.2 的演进是从一条流水线变成一条更复杂的流水线，那 2026 年的 MiMo Flash V2、DeepSeek V4 和 Nemotron 3 Ultra 标志着另一个层的飞跃：recipe 不再是线性的了。
MiMo Flash V2 的三阶段流程：SFT → 6 个领域专家的训练 → MOPD 合并到一个通用学生模型
这个新模式的名字叫 Multi-Teacher On-Policy Distillation（MOPD，多教师在线策略蒸馏）。它的基本思路可以这样理解：
过去，你想让一个模型同时擅长数学、编程、代码生成、工具使用和安全性，你把这些目标混合到一个 RL 训练运行中。你给模型一组数学题、一组编程题、一组工具使用任务、一组安全提示……让它在同一个训练过程中学会所有这些。这种做法的问题是，当你的模型足够强大时，不同的能力之间会在 RL 训练中相互拉扯。为数学优化可能会改变模型的输出分布，进而影响它在编程上的表现。为工具使用添加的奖励信号可能和生产安全回答的偏好相冲突。Nathan 的原话是：
把数学、代码和 agentic RL 混在一起跑，最终会在不同能力之间做出取舍。
MOPD 换了一种思路：不试图用一个训练过程教会模型所有能力。相反，为每一种能力训练一个专门的专家模型，然后在一个通用学生模型中把这些专家的能力蒸馏回来。
具体的做法分三步。第一步：训练 N 个领域专家。 每个专家通常是通用基础模型，然后在一个特定的领域上做 SFT 和对该领域的 RL（比如一个专家专门做数学 RL，一个专门做编程 RL，一个专做工具使用的 RL，一个专做安全性相关的对齐）。这些专家可以独立推进，由不同团队负责。
第二步：训练一个通用学生模型。 这个学生模型才是最终要发布的模型。它不直接复制专家的输出，而是生成自己的rollout（自己的回答轨迹）。
第三步：将学生的每一个 rollout 路由给对应的专家。 这里有一个非常关键的设计：学生的输出不是从训练数据中直接学习的，而是在线（on-policy）地生成自己的回答，然后把数学相关的回答送给数学专家做评估，编程相关的送给编程专家……对每一个 token，学生模型通过最小化 reverse-KL 散度（一种衡量两个概率分布差异的指标）来让它的输出分布向对应专家的分布靠拢。这整个流程是在 RL 框架内运行的，也就是说，你不需要为 MOPD 搭建一个全新的训练系统，你只需要在你已有的 RL 训练系统中，加入一个“路由”和“蒸馏损失”的模块。
正如 Finbarr 在访谈中说的：
如果你真的要实现 MOPD，你拿已有的 RL 系统，然后在这个 learner 上做一些非常小的调整就可以实现。它其实相当直接。
最早完整提出 MOPD 的是 2026 年 1 月的 MiMo Flash V2 论文[4]。它的 recipe 分为三个阶段：第一阶段，通用 SFT；第二阶段，训练大约 6 个领域专家（每个专家都经历了传统 post-training recipe——SFT、DPO、RLVR）；第三阶段，用 MOPD 把这 6 个专家蒸馏到一个通用模型中。
把 MOPD 规模化的是 DeepSeek V4 和 NVIDIA Nemotron 3 Ultra。V4 用上了 10+ 个领域专家。Nemotron 3 Ultra 更复杂一些：它做了两轮 MOPD，第一轮先整合一组专家，第二轮再用刷新后的专家蒸馏一轮。两轮比一轮效果更好，因为不同专家的训练流程差异导致它们的学生分布不同，一次性合并所有专家的难度太高。NVIDIA 论文里有一段非常坦诚的描述：
我们的一个关键发现是，用完全不同的训练流程训练出来的专家模型，不能通过一次直接的 on-policy distillation 合并在一起，否则会导致次优性能。
他们还提出了一个假设：
当教师和学生在不同的 SFT 数据上训练时，它们会形成不同的推理行为，产生不同的输出分布。这种分布不匹配会导致学生生成的轨迹对教师来说是分布外的，从而降低了教师提供的监督信号的质量和可靠性。
Nemotron 3 Ultra 的两轮 MOPD 流程：SFT → 第一轮 MOPD → 第二轮 MOPD，10+ 领域专家
MOPD 的出现，意味着后训练不再仅仅是一个算法设计问题，它同时也成了一个组织设计问题。当一个实验室决定使用 MOPD 流程时，它首先需要回答的不是“用什么 loss function”，而是“我们有哪些团队、能训练出哪些好的专家模型”。Finbarr 对这一点有很深的理解：
一个数学专家、一个代码专家、一个 agent 专家可以由不同的团队并行推进，各自在自己的领域内做到最好。最后通过 MOPD 合并。这比让一个团队同时优化所有目标、在同一个 RL 运行中平衡多个 reward signal 更容易管理和调试。
Nathan 和 Finbarr 在访谈中提到的组织架构和后训练 recipe 之间的关系，是我认为整场对话中最有意思的话题之一。Nathan 说：
很多现代后训练就是你管理计算、管理和数据到一个工作流程中的能力。而要做到这一点，你实际上是在管理一个组织结构图。
这句话可以成为我们理解前沿后训练的一个关键词：当别人在说“模型参数量”“训练 FLOPs”时，前沿实验室内部的 conversation 可能更多在讨论“跨团队沟通”“训练流程的抽象层”和“实验的排队机制”。
Part 7：并不是所有人都走 MOPD 路线，新的 recipe 层出不穷
但要说 2026 年所有前沿模型都变成了 MOPD 的形态，那也不准确。事实上，2026 年的模型后训练呈现出一个非常有意思的光谱形态：从最保守的 R1 式多阶段 RL，到最激进的 10+ 专家 MOPD，各家的选择并不一致。
MAI-Thinking-1 的三阶段流程：mid-trained base → 3 个 specialist RL → trace-distillation SFT → final RL
微软的 MAI-Thinking-1（2026 年 6 月发布）走的是一条更保守的路线。它的方案更接近 DeepSeek R1 而非 V4：先在一个中训练基础模型上做 3 个领域的 specialist RL（例如 STEM、编程等），然后通过 trace-distillation SFT 把这些 specialist 的能力合并，最后再做一轮最终的 RL。这里的关键区别是：MAI 做的是 trace-distillation（路径蒸馏）——把专家的推理过程以文本的形式作为 SFT 数据提供给模型——而不是 on-policy 的 MOPD。它把专家的推理轨迹拆解为“SFT 文本”，让模型模仿，而不需要维持一个实时的 RL 学习循环。这个做法在工程上简单很多，但按 Nathan 的推测，能力天花板会更低。
Nathan 用一个很有分寸的词来评价 MAI：保守。Finbarr 对此的反驳很有趣：他认为在新团队刚开始做 post-training 时，选择保守其实是明智的，因为试图一次性做太多改动很容易让整个流程崩溃。
Kimi K2.5 的流程：text-only SFT → joint text-vision RL
月之暗面的 Kimi K2.5（2026 年 1 月）是另一个不走 MOPD 的路子。它的发展重点在 agent 和 multimodal，在做完纯文本 SFT 后，它就在图片、视频、编程、推理、agentic 任务上做联合 RL。虽然它在自己的 recipe 中也包含多个领域，但论文中并没有提到使用 MOPD 或 on-policy distillation 来合并专家。它更倾向于做多模态联合 RL，而不是先训练专家再蒸馏合并。
GLM-5 的分阶段流水线：Base → SFT → Reasoning RL → Agentic RL → General RL
智谱的 GLM-5（2026 年 2 月）采用的是一种更线性的分阶段 RL：base 模型先做 SFT，然后做 Reasoning RL，再做 Agentic RL，最后做 General RL。这更像是一条流水线，而不是一个多专家的工厂。GLM-5 还有一个有趣的设计细节：引入了难度课程（difficulty curriculum）——训练数据的难度逐步上升；以及temperature schedule——训练中的采样温度随着阶段变化。有趣的是，Finbarr 在访谈中指出:
Kimi K2.5 和 GLM-5 都公开了各自的 temperature schedule，但他们的结论是相反的——一个说要从高温降到低温，另一个说要从低温升到高温。
这个微妙的小细节说明，很多后训练中的“工程直觉”还没有被系统性地研究清楚。
把这些放在一起看，你会发现 2026 年的前沿后训练并非一条路走到了头。有人全速向 MOPD 冲刺，也有人坚守着基于 R1 的多阶段 RL 路线，有人走 agent 和 multimodal 的合并路线，有人走分阶段流水线的路线。这并不奇怪，当整个领域都在快速扩张时，并行实验才是常态。
但无论走的是哪条路线，2026 年所有前沿模型共享一个共同的特征：RL 已经成为后训练的中心，而不是最后的点缀。 和 2022–2023 年相比，最大的变化不是 RL 算法本身的进步，PPO 变成了 GRPO 固然有改进，但真正改变的，是整个后训练叙事的方向。以前人们问“怎么教模型听指令”，现在人们问“怎么通过大规模 RL 不断让模型自己发现更好的推理策略”。
在 InstructGPT 时代，RL 是一个收尾步骤，它的规模很小，作用也有限。在 2026 年，RL 是整个后训练的主干，所有的数据生成、过滤、蒸馏、合并都是在 RL 框架内进行的。
结尾：后训练从算法问题变成了系统工程问题
回看这一路从 2022 到 2026 年的变化，你可能会有一个感受：后训练这门手艺变得越来越不“学术”了。在 InstructGPT 时代，一篇论文的 recipe 大致可以被另一个实验室复现。在 DeepSeek R1 时代，复现已经需要大量的工程资源。到了 MOPD 的时代，没有一个实验室能仅靠阅读论文就完整复现另一个实验室的后训练流程。因为每一家的 MOPD 背后，都藏着数月或数年的团队协作、基础设施搭建、实验迭代和领域专业模型的构建。
Nathan 在访谈中提到了一个非常实在的困惑：
两个做过前沿后训练的朋友来问我建议，我都不知道怎么说。因为除非我花二十个小时去理解你们整个 recipe 的细节，否则我不能随便给出一句话的建议——“你就做 X”——而不理解你的模型和流程中的所有复杂性。
这句话恰好描绘了后训练在 2026 年的真实状态：它已经从一门科学，更多地变成了一门工程，甚至是一门手艺。
对于大多数读者来说，不打算自己训练一个前沿模型，这个趋势的意义是什么？我认为至少有三点。
第一，基础模型的大规模预训练正在变得同质化。 当所有人都在用类似的架构、类似的数据、类似的算力时，模型之间真正的差异更多地来自后训练。一个模型是否擅长推理、是否好用、是否能理解复杂指令，这些几乎全是后训练决定的。
第二，后训练决定了你使用的 AI 产品的真实体验。 你面前的助手有多聪明、它愿不愿意在不确定的问题上承认不知道、它的代码写得有多好、它能不能在用工具时保持清醒……所有这些都不是来自预训练阶段的参数，而是来自后训练阶段的大规模 RL 和工程打磨。很多人在讨论“下一代 AI 产品”时会自然地把注意力集中在基础模型的迭代上，但产品体验的提升，更多来自后训练的持续优化。
第三，后训练正在分化，它不仅分化为不同的方法，还分化为不同级别的能力。 最前沿的实验室在运行复杂的 MOPD 流程来微调它们的基础模型，而开放社区仍然在 Tülu 3 这样的简单三段式配方上耕耘。这两者的差距正在扩大。不是后训练本身变得更难了，做 Tülu 3 的 recipe 仍然不难，而是在最高水平上超越对手变得越来越难。那个关键的最后几个百分点，需要的是工程规模、组织能力和训练基础设施的系统性优势。
如果你想系统性地学习和研究后训练，Nathan 的 RLHF Book[5] 会是一个很好的起点，它涵盖了从数据收集到奖励建模到策略梯度到直接对齐，同时包含了在线的交互版本和 Manning 出版的纸质书。还配套代码仓库[6]，涵盖了所有主要算法的参考实现。此外，他录制了一套完整的视频课程[7]。这些资源的价值在于，它们提供了一个相对完整的地图，你可以按自己的节奏，从任何一个章节进入，然后去理解每一个方法背后的直觉和实现细节。
在后训练的世界里，理解地图本身，有时候就已经是走在前面了。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2026 最新岗位需求图谱
所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~
① 全套AI大模型应用开发视频教程
（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）
② 大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
以上资料如何领取？
为什么大家都在学大模型？
最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！
不出1年，“有AI项目经验”将成为投递简历的门槛。
风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！
这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
