摘要
后训练和预训练的资源曲线完全不同：预训练算力吃满，后训练常常是训练在等采样。生成一条长轨迹要自回归解码几十到上百步，成本远高于一次前向。把采样与训练的吞吐配平，往往比单纯加卡更有效。本文讲这套四段式系统的结构、瓶颈与调优顺序。2026 奇点智能技术大会（11 月 20-21 日·北京万达文华酒店）大模型技术与 AI Infra 专题会讨论后训练系统。
▸ 核心结论：瓶颈在采样侧，先减少采样空转，再谈优化训练——顺序反了等于白优化
▸ 关键权衡：允许用旧权重继续采样几步能提吞吐，但要卡住滞后上限，否则训练会不稳
▸ 适合谁读：做后训练系统的工程师——先量四段耗时，别凭感觉判断瓶颈在哪
本文的结构 为什么 一 瓶颈为什么在采样（自回归 + 批内对齐） | 结构 二~三 四段流水线 / 提高采样吞吐的手段 | 代价 四~五 权重同步开销 / 轨迹方差 | 落地 六~八 常见坑、衔接大会、落地顺序 监控要同时看两侧的等待时间，只看训练侧利用率一定会误判一、为什么瓶颈在采样
一次策略更新要消耗一批轨迹数据，而生成一条长轨迹需要自回归解码几十到上百步。每一步都是一次完整前向，成本随轨迹长度线性增长。
对比之下，训练一次前向加反向的算力虽然更大，但它是批量并行的、算力利用率高。采样阶段的自回归特性让批内不同序列的完成时间不同，结束时才对齐，中间存在明显的空转。于是整体上训练侧在等数据。
二、引擎的基本结构
典型结构是四段：采样器生成轨迹，奖励模型或环境给出反馈，数据缓冲存放样本，训练器消费样本更新策略。四段之间是生产者消费者关系。
关键在于四段的速度不匹配。采样慢、奖励快、训练中等，缓冲区会长期处于低位。所以要考虑的第一件事不是优化训练，而是让采样侧的产出稳定跟上消费速度。
四段之间还需要一个明确的版本标识。若数据是旧策略产生的而训练器以为是最新的，学习信号就会错位，这类错误往往在损失异常时才会被发现。
工程上通常给每批数据打上策略版本号，训练器只消费与当前版本兼容的数据，超出窗口的样本直接丢弃，代价是部分采样白做。
四段之间还要考虑背压。若训练消费过慢而采样持续产出，缓冲区会溢出；反之则采样空闲。理想状态是四段吞吐略有不平衡但缓冲充足，而不是追求完全相等。
四段的资源绑定方式也需要明确。采样与推理引擎共享同一套优化技术，训练侧则更接近预训练栈，两者复用度有限，人员技能要求也不同。
四段式流水线（生产者 -> 消费者） [采样器] --轨迹--> [奖励/环境] --打分--> [数据缓冲] --> [训练器] --+ ^ | | 更新后的权重 +------------------- 权重同步（回到采样器）-----------------+ （缓冲区常常长期处于低位） 各段的典型耗时构成 采样 自回归解码 N 步 = N 次完整前向，且批内要等最慢的那条结束 奖励 一次前向或规则调用，通常比采样快一个量级 缓冲 内存操作，几乎不耗时（所以它经常是空的） 训练 前向 + 反向，算力利用率高 因此优化重点在采样 连续批处理 消除批内空转 长度分组 减少等待最慢序列的浪费 投机解码 降低每步成本（需要草稿模型） 别忽略的一类耗时：反馈若来自真实环境或模拟器，那段时间可能比解码还长， 而且完全不受训练框架控制 —— 不先把它量出来，优化方向就会错三、提高采样吞吐的手段
| 手段 | 收益 | 代价 || — | — | — |
| 连续批处理 | 减少空转 | 实现复杂 |
| 投机解码 | 降低每步成本 | 需额外草稿模型 |
| 长度分组采样 | 减少对齐浪费 | 训练分布略偏 |
| 独立采样集群 | 弹性扩缩 | 权重同步开销 |
这几种手段可以叠加。实践中收益最直接的是连续批处理与长度分组，前者减少空转，后者降低批内等待。
长度分组采样需要注意偏置。把长度相近的样本放一起会改变批内的分布，长期训练可能让模型对某些长度过度适应。常见做法是分组采样与随机采样交替。
投机解码在采样阶段收益明显，因为解码是自回归的、草稿模型可以跑得很快。但接受率低时反而增加开销，所以要按目标任务的接受率决定是否启用。
连续批处理在采样侧的实现要点是尽早释放完成的序列并把新请求填进去。填入越快，空转越少，所以请求队列的管理策略直接影响收益。
四、权重同步的代价
采样用的策略和训练更新的策略必须是同一个版本，否则学到的数据与当前策略不匹配。于是每轮更新后要把新权重同步到采样侧。
同步本身有开销：千亿参数的权重传输不是小事。常见做法是分片广播加流水加载，让采样在加载期间继续用旧权重跑一部分数据。代价是引入了策略滞后，滞后太多会让训练不稳定，需要限制在若干步以内。
权重同步的另一个选项是共享存储加按需加载。它把同步成本分散到按层加载的过程中，但要求采样侧有足够的显存容纳完整模型，适用条件更苛刻。
同步频率要和策略更新节奏对齐。更新过密会导致同步开销占比上升，过疏则数据滞后明显，两者之间的最优点需要实测。
权重同步的另一种思路是让采样侧只保留必要的层或参数副本。它把同步量降下来，但要求采样与训练在结构上有耦合，灵活性下降。
五、轨迹的方差问题
同一策略采样出的轨迹质量差异很大,少数高奖励样本会主导梯度。这不完全是系统问题，但系统设计会放大或抑制它。
工程上常见做法是采样比训练需要的更多轨迹，然后按奖励筛选或加权。这相当于把系统的采样吞吐要求又提高了一档，进一步说明采样侧是真正的投资重点。
按奖励筛选还有一个隐患：被筛掉的样本也有信息量。全部丢弃会让策略失去「哪些行为不好」的信号，长期看可能降低探索能力。
折中做法是保留部分低奖励样本并给予负权重，而不是彻底丢弃。这样既控制方差，又保留了反面信号，对稳定性有帮助。
采样温度与方差也有关系。温度高时输出更多样，奖励分布更宽，筛选的收益更大；温度低时样本趋同，筛选几乎不起作用，反而浪费采样量。
六、常见坑
坑一是只盯着训练侧的算力利用率。采样侧空转严重时，训练侧再快也没用，看板要同时呈现两侧的等待时间。
坑二是忽略环境本身的延迟。如果反馈来自真实环境或模拟器，那部分耗时可能比模型解码还长，而且完全不受训练框架控制。要先把这部分量出来，否则优化方向会错。
坑三与观测粒度有关。把整轮训练的耗时按四段拆开统计，才能看出哪一段在等待。只统计总时长，平均值会掩盖掉波动。
坑四与资源分配有关。采样与训练若共用同一批 GPU，会互相抢资源。分离式部署能各自优化，代价是运维复杂度与显存成本上升。
坑五与评测口径有关。用采样侧的日志做效果评估，会因为样本经过筛选而偏乐观，评估应当用未筛选的独立样本。
七、衔接大会专题
11 月 20-21 日，北京万达文华酒店，奇点智能技术大会的大模型技术专题会讨论后训练与自进化；AI Infra 基础设施与 AgenticOps 专题会从训推一体的角度给出系统方案。
带着「我们的采样侧等待时间多长」去参会，问题直指要害。
参会时可以留意各家在「采样与训练算力配比」上的经验值。这个比例随任务类型变化很大，但它给出了一个大致的量级参考。
另一个值得关注的方向是评测与采样的结合。把采样出的轨迹直接作为评测数据，能省掉一批数据构造工作，前提是采样分布与评测目标一致。
参会时可以留意各家在「采样与训练分离部署」上的经验。分离带来灵活性，也带来权重同步与集群调度的新问题，取舍与集群规模相关。
八、落地顺序
先把四段的耗时与吞吐量出来，画出瓶颈位置。再优先解决采样侧的空转，通常收益最大。最后才做权重同步的流水优化。
顺序反了会白花力气：训练侧优化半天，采样侧还是喂不上数据，端到端吞吐一动不动。
上线前建议先只统计不优化，跑几轮拿到四段的真实耗时分布，再决定投资方向。凭直觉优化常常投在最不该投的地方。
最后一点：优化后要确认轨迹质量没有下降。吞吐提升若以牺牲多样性为代价，训练效果会在更长的周期里体现出来，那时再返工成本很高。
最后一点：这条链路的优化是持续的，随着策略更新频率提高，采样的压力会进一步上升，所以架构要为后续扩容留出空间。
还有一条经验：采样侧的显存配置要按最长轨迹预留。按平均长度预留会在遇到超长输出时触发显存不足，而这类失败往往集中在最有价值的复杂任务上。
补充问答
问：为什么后训练容易卡在采样？
答：自回归解码每步都要一次完整前向，长轨迹成本高，而且批内序列完成时间不同、结束时才对齐，空转明显。训练侧算力利用率高，于是常常在等数据。
问：最该优先优化哪一段？
答：先量出四段吞吐，多数情况下瓶颈在采样。优先减少采样空转（连续批处理、长度分组），收益通常比优化训练侧大得多。
问：权重同步要注意什么？
答：同步有开销，千亿参数传输不小。常用分片广播加流水加载，期间用旧权重继续采样，但要限制策略滞后步数，滞后太多训练不稳。
问：轨迹方差是系统问题吗？
答：部分是。少数高奖励样本主导梯度，常见做法是超额采样再筛选，这又提高了对采样吞吐的要求，进一步说明投资重点在采样侧。
问：环境延迟要算吗？
答：必须算。反馈来自真实环境或模拟器时，这部分耗时可能超过模型解码，且不受训练框架控制，不量清楚容易把优化方向搞错。
大会信息
2026 奇点智能技术大会 + C++ 及系统软件技术大会
时间：2026 年 11 月 20-21 日
地点：中国·北京万达文华酒店
大会报名：免费领取大会PPT资料
立即报名，锁定 Lukasz Kaiser Keynote 与 70+ 场演讲完整资料！
