📖标题：Flash-OPD: Fast On-Policy Distillation
🌐来源：arXiv, 2610.06105v1
🛎️文章简介
🔸研究问题：在在线策略蒸馏（OPD）中，如何避免因统一设定生成长度而导致的计算浪费或有效监督被截断的问题？
🔸主要贡献：提出Flash-OPD，通过自适应验证每条轨迹的可靠性边界，实现逐样本动态停止生成，在保持精度的同时大幅加速训练。
📝重点思路
🔸识别粒度错配：现有方法为整个批次设定统一的生成长度（Horizon），但不同样本的教师-学生兼容性差异巨大，统一长度要么截断有用信息，要么在低质量区域浪费算力。
🔸定义可靠性边界：将“低兼容性事件”（如师生Top-k重叠率低于阈值）的累积次数作为判断依据。当累积的低兼容性事件达到预设预算时，即视为该轨迹的有效监督结束点。
🔸自适应边界验证：不预先预测停止位置，而是在生成过程中交替进行“缓存生成”和“教师验证”。利用最近的事件发生率来调度下一次验证点，但最终的停止决策严格基于实际观测到的累积计数。
🔸分离调度与决策：使用估计的事件率仅决定何时进行下一次检查以减少开销，而是否停止则完全依赖精确的累积计数，防止因估算误差导致过早终止，确保每个Token只解码一次。
🔎分析总结
🔸显著加速：在多种数据集和师生模型组合下，Flash-OPD相比标准OPD实现了2.2倍至7.5倍的训练速度提升。
🔸精度保持或提升：在大幅减少计算量的同时，模型准确率得以保持，甚至在某些设置下（如Qwen系列）因过滤了长尾低质监督而提升了最终性能。
🔸效率来源分解：时间节省主要来自于缩短了Rollout生成阶段，同时由于提前停止，也减少了后续昂贵的策略更新和Log概率计算时间。
🔸良好的泛化性与扩展性：该方法在分布外测试集上表现稳定，且随着教师模型规模增大（从4B到32B），其相对于基准方法的额外时间成本增加
