# Rationale‑Guided Policy Optimization（RGPO）论文总结与翻译
> 论文信息：arXiv:2610.07342｜NeurIPS 2026｜[论文仓库](https://github.com/VietHoang1512/rgpo)
## 一、文章主要内容
本文针对**大模型推理任务上在线强化学习（RLVR）存在的奖励稀疏问题**开展研究。在线强化学习（如GRPO、REINFORCE++）是提升大语言模型推理能力的主流方案，但当面对高难度问题时，模型很难采样出正确推理轨迹，优化过程缺少有效梯度信号，训练容易停滞。
现有解决手段引入离线演示、专家轨迹，但大多要求辅助数据严格匹配强化学习任务输出格式，往往需要更强的大模型做拒绝采样来获取可用训练样本，成本高、约束强。
论文提出**RGPO（Rationale‑Guided Policy Optimization，推理引导策略优化）**框架：把真实推理依据（ground‑truth rationale）当作**临时脚手架（scaffold）**，而不是固定模仿目标。
1. 模型先无提示生成原始推理；
2. 失败样本，根据模型当前能力自适应注入不同强度的推理提示，引导模型生成改进版回答；
3. 只把奖励更高的模型自生成的优质样本，回传到原始无提示任务下做监督更新；
4. 推理脚手架仅训练阶段使用，推理阶段模型完全不依赖外部提示。
实验在纯文本、多模态（视觉‑语言）推理任务上开展。对比RLVR基线，RGPO性能稳定提升；消融实验证明**自适应推理引导是性能增益的核心来源**。仿真与真实实验都验证：该方法缓解奖励稀疏、稳定RL训练，提升文本与多模态模型推理能力。
## 二、核
