附录 A：递归改进能否扩展到更大的模型？

核心结论

附录 A 说明，DCE+SRCL 不仅适用于 1.7B、4B 和 8B 模型，也能在Qwen3-14B上产生明显的递归改进。

但同时，14B 模型的性能提升伴随着输出长度快速增加，因此需要注意训练轮次和停止时机，不能只追求继续训练。

1. 实验设置

作者在 Qwen3-14B 上使用与主实验基本相同的 DCE+SRCL 框架，并记录训练早期的多个检查点。

评测仍然采用：

• 非思考模式；
• 32K 最大生成长度；
• 四个数学基准；
• Average@12 指标；
• 同时记录平均生成 token 数。

2. 准确率快速提升

模型初始状态的 Average@12 为：

• 21.39%

训练到第 20 步时：

• 42.64%

训练到第 30 步时：

• 66.39%

也就是说，从初始模型到第 30 步，平均准确率提高了45.00 个百分点。

这种提升不是由某一个数据集单独贡献的，而是四个测试集都出现了明显改善。

其中 AIME 2026 的提升尤其显著：

• 初始模型：19.44%；
• 第 30 步：69.72%；
• 提高了50.28 个百分点。

这表明，递归式训练在更大模型上仍然能够快速放大模型的数学推理能力。

3. 继续训练不一定更好

到了第 50 步，Average@12 变为：

• 65.21%

相比第 30 步的 66.39%，准确率略有下降，但仍处在相近水平。

与此同时，平均输出长度从第 30 步的：

• 15,877 token；

增加到第 50 步的：

• 20,050 token。

这说明继续训练带来的主要变化可能不是更高的正确率，而是让模型进行更长、更频繁的推理和检查。

因此，附录 A 强调：

对大模型而言，早期停止可能更有利于保持准确率和推理成本之间的平衡。

4. 附录 A 对全文结论的补充

正文已经证明 DCE+SRCL 在多个模型规模上有效，附录 A 则进一步补充了 14B 模型的证据。

它说明：

• 递归教师进化可以扩展到更大模型；
• 大模型能够在较少训练步数内获得巨大收益；
• 但训练越久，输出可能继续变长；
• 因此，最佳检查点不一定是最后一个检查点。

这也进一步支持论文的一个重要观点：

模型能力提升和推理效率提升不是同一个目标，需要通过检查点选择和 SRCL 共同控制。

一句话总结

附录 A 证明 DCE+SRCL 在 Qwen3-14B 上同样能快速提升准确率，但过度训练会让输出明显变长，因此应选择合适的早期检查点来平衡性能与推理成本。

附录 B：Gemma-4-12B-IT 的训练细节与附加结果

核心结论

附录 B 进一步证明，DCE+SRCL 的效果可以从 Qwen3 迁移到 Gemma-4-12B-IT。

在 Gemma 上：

• DCE+SRCL 的最终 Average@12 达到63.61%；
• 高于单独 DCE 的62.01%；
• 明显高于 OPSD 的51.04%；
• SRCL 还能把平均输出长度从 8,812 token 降到 8,526 token。

同时，附录再次证明：标准答案放置在 assistant-side context 中，比放在 user-side context 中更有效。

1. Gemma 实验如何设置

实验使用的具体模型是：

• google/gemma-4-12B-it

训练数据仍然是与 OPSD 相同的：

• 14,717 道数学题。

训练设置基本保持与主实验一致：

• assistant-side 特权上下文；
• 学生和教师都使用非思考模式；
• LoRA 训练 200 步；
• 随机种子为 42；
• LoRA rank 为 128；
• LoRA alpha 为 256；
• 全局 batch size 为 16；
• 学习率为2.5×10−62.5\times10^{-6}2.5×10−6。

DCE 和 DCE+SRCL 的主要区别只有 SRCL 权重：

• DCE：λS=0\lambda_S=0λS​=0；
• DCE+SRCL：λS=25\lambda_S=25λS​=25；
• 两者使用相同的 DCE 权重：

λG=5×104. \lambda_G=5\times10^4.λG​=5×104.

这种设置可以更公平地比较 SRCL 在 Gemma 上的额外作用。

2. 标准答案放置位置仍然很重要

作者在 Gemma 上也比较了三种标准答案放置方式：

1. assistant-side；
2. user-side reference-last；
3. user-side instruction-last。

结果如下：

assistant-side 比另外两种方式高出约 8 个百分点，而且输出更短。

这说明标准解并不是“放进上下文就行”，它在上下文中的角色和位置会改变教师的行为。

assistant-side 的组织方式更像：

教师已经形成了一段内部推理，然后根据学生当前前缀继续指导。

而 user-side 的方式更像：

用户给了一份外部参考材料，模型再根据这份材料完成任务。

前者更适合提供连续的、方向明确的纠错信号。

3. 不同放置方式的训练动态不同

附录还比较了三种放置方式的最佳检查点。

• Assistant-side 的最佳结果出现在第 100 步；
• User-side reference-last 的最佳结果出现在第 10 步；
• User-side instruction-last 的最佳结果也出现在第 10 步。

这说明 assistant-side 不仅最终结果更好，而且能够持续从递归训练中受益；而两种 user-side 方式很早就达到峰值，之后没有继续改善。

换句话说，assistant-side 更能支持长期的教师—学生协同进化。

4. DCE 与 DCE+SRCL 的完整训练轨迹

Gemma 的训练轨迹如下：

可以看出，SRCL 的收益不是从第一步开始就稳定出现：

• 第 20 步时，DCE+SRCL 反而略低于 DCE；
• 第 50 步之后，SRCL 开始稳定带来提升；
• 第 100 步达到最佳结果；
• 第 150 和 200 步仍然保持优势，但总体准确率略有回落。

这说明 SRCL 的作用需要一定训练过程才能显现。模型需要先通过 DCE 学会较可靠的修正能力，然后才更容易从这些轨迹中提炼出短而正确的版本。

5. 输出长度的变化

在第 100 步：

• DCE：8,812 token；
• DCE+SRCL：8,526 token。

SRCL 减少了约 286 个 token，同时提高了 1.60 个百分点的准确率。

第 50 步时，SRCL 的效果更明显：

• DCE：7,701 token；
• DCE+SRCL：7,328 token；
• 准确率从 61.04% 提高到 62.85%。

不过在第 200 步，DCE+SRCL 的输出长度变为 10,439 token，略高于 DCE 的 9,968 token。这再次表明，SRCL 并不是在所有训练阶段都保证缩短输出；最佳模型检查点仍然很重要。

6. 附录 B 对全文结论的补充

附录 B 支持三点：

第一，方法具有跨模型迁移性

DCE+SRCL 在 Gemma 上同样优于 OPSD 和普通训练基线，因此它不是只适用于 Qwen3 的特殊技巧。

第二，SRCL 的作用依赖 DCE

SRCL 并不是单独创造能力，而是在 DCE 已经建立纠错能力之后，进一步改善准确率和输出长度。

第三，教师上下文设计会影响递归效果

assistant-side 组织方式不仅最终准确率更高，也能让性能持续提升到较晚训练阶段，说明它更适合递归式教师更新。

一句话总结

附录 B 证明，DCE+SRCL 能迁移到 Gemma-4-12B-IT，并且 assistant-side 的标准答案表示方式更有利于教师持续进化、提升准确率和控制推理长度。

附录 C：Qwen3-8B 与 Qwen3-4B 的完整训练轨迹

核心结论

附录 C 展示了不同训练方法在多个检查点上的变化，进一步说明：

• DCE 的准确率提升通常是逐步发生的，并且远超 GRPO 和 OPSD；
• SRCL 能在许多阶段降低输出长度，同时保持或提高准确率；
• 最佳检查点不一定是最后一步；
• SRCL 如果脱离 DCE 单独使用，会变成“只追求短输出”，准确率几乎崩溃。

1. Qwen3-8B 的训练轨迹

Qwen3-8B 的基础模型表现为：

• Average@12：19.51%；
• 平均输出：3,922 token。

1.1 DCE 的准确率逐步上升

DCE 的准确率变化为：

可以看到，DCE 在前 50 步提升非常快：

• 从 19.51% 提升到 64.44%；
• 输出长度也同步快速增加。

之后准确率基本进入平台期，在 64%–66% 附近波动，而输出长度继续维持在约 19K token。

这说明 DCE 早期主要带来推理能力跃升，后期继续训练的收益变小。

1.2 SRCL 可以改善准确率—长度平衡

DCE+SRCL 的轨迹为：

最值得注意的是第 100 步：

• DCE：64.93%，19,036 token；
• DCE+SRCL：65.97%，17,561 token。

也就是说，SRCL 在这一检查点同时实现：

• 准确率提高约 1 个百分点；
• 输出减少约 1,475 token。

第 50 步时，SRCL 的输出也明显更短，但准确率低于单独 DCE。这说明 SRCL 的作用会随训练阶段变化，不能简单理解为任何检查点都一定提升准确率。

1.3 GRPO 和 OPSD 的变化较小

GRPO 在整个训练过程中大致维持在 18%–20% 左右，几乎没有明显提升。

OPSD 虽然比 GRPO 好，但最高只有约 30.35%，而且输出长度从约 4K 增长到 6K 左右。

相比之下，DCE 在第 50 步以后就已经达到 60% 以上，说明动态教师带来的改进远强于传统结果奖励和冻结教师蒸馏。

2. Qwen3-4B 的训练轨迹

Qwen3-4B 的基础模型表现为：

• Average@12：17.57%；
• 平均输出：3,805 token。

2.1 DCE 早期快速提升，但后期出现回落

DCE 的准确率变化为：

DCE 在第 50 步达到最高准确率 60.00%，之后准确率逐步下降，同时输出长度继续增长。

这说明在 4B 模型上，继续递归训练可能使模型：

• 反思次数增加；
• 生成更长；
• 但没有继续获得相应的准确率收益。

因此，DCE 在 Qwen3-4B 上的最佳点比较早，大约在第 50 步。

2.2 DCE+SRCL 能明显稳定训练

DCE+SRCL 的轨迹为：

与单独 DCE 相比，SRCL 在 4B 上的作用尤其明显：

• 第 50 步，长度从 19,360 降到 15,044；
• 第 100 步，准确率从 56.04% 提升到 60.83%；
• 第 200 步，准确率从 49.58% 提升到 61.88%，长度却从 24,701 降到 17,265。

这说明 SRCL 不仅能删掉冗余推理，还能缓解 DCE 后期“越训越长、准确率反而下降”的问题。

3. SRCL 单独使用为什么会失败

附录 C 特别强调：如果没有 DCE，只使用 SRCL，结果几乎崩溃。

• Qwen3-8B：最高只有2.36%，平均约 1,116 token；
• Qwen3-4B：最高只有0.76%，平均约 531 token。

这类输出虽然很短，但大多不正确。

这说明 SRCL 本身不是一个完整的推理能力训练方法。它更像一个“压缩和整理”目标：

• 如果模型已经有较好的纠错能力，SRCL 可以帮助它删除冗余；
• 如果模型没有学会正确推理，SRCL 只会让错误答案变短。

因此，DCE 和 SRCL 的关系是：

DCE 先建立可靠的纠错能力，SRCL 再对这种能力进行压缩和整理。

4. 附录 C 说明的训练规律

4.1 性能提升和输出长度通常同时出现

DCE 早期提升准确率时，输出也会明显变长。这说明模型可能通过更多检查、回溯和分支探索获得更高正确率。

4.2 继续训练可能带来过度推理

在 4B 模型上，DCE 第 50 步之后输出继续变长，但准确率反而下降。这表明更多反思不一定意味着更有效的推理。

4.3 SRCL 的价值在后期更加明显

当 DCE 已经让模型具备较强推理能力后，SRCL 能帮助模型：

• 保留正确的推理；
• 删除错误分支；
• 减少重复检查；
• 延缓准确率回落。

4.4 最佳检查点需要根据模型规模选择

• Qwen3-8B 的 DCE+SRCL 在第 100 步达到最佳；
• Qwen3-4B 的 DCE+SRCL 在第 200 步仍保持较高水平；
• 单独 DCE 在 4B 上第 50 步就达到峰值。

因此，不能默认“训练越久越好”，需要同时观察准确率和输出长度。

一句话总结

附录 C 表明，DCE 负责让模型逐步获得强大的推理和纠错能力，而 SRCL 负责抑制后期无效变长；只有二者结合，模型才能在较长训练过程中保持较高准确率和更合理的输出长度。

附录 D：教师更新策略的比较

核心结论

附录 D 专门检验一个问题：

教师只要更新就够了吗？还是必须像 DCE 一样每一步都与学生同步更新？

结果表明：

• 冻结教师最差；
• EMA 教师和周期性复制教师都有改善；
• 每一步完全同步的动态教师总体最好；
• 最佳效果不仅体现在准确率上，也体现在更好的准确率—输出长度平衡上。

1. 比较了哪些教师更新方式

作者在相同的 Qwen3 设置下比较四种策略。

1.1 冻结教师

教师始终保持初始参数：

θT=θ0. \theta_T=\theta_0.θT​=θ0​.

这是传统 OPSD 的做法。

1.2 EMA 教师

教师不直接复制学生，而是使用指数移动平均：

θT(t)=dθT(t−1)+(1−d)θS(t). \theta_T^{(t)} = d\theta_T^{(t-1)} + (1-d)\theta_S^{(t)}.θT(t)​=dθT(t−1)​