文章目录
- D41-DPO 偏好对齐微调：用偏好数据直接对齐模型
- 一、为什么 SFT 之后还需要"偏好对齐"
- 1.1 SFT 的 3 大局限
- 1.2 偏好对齐的本质
- 二、DPO 原理：为什么能"用偏好直接对齐"
- 2.1 DPO 一句话总结
- 2.2 RLHF 流程（3 步，传统方法）
- 2.3 DPO 流程（1 步）
- 2.4 DPO 损失函数
- 2.5 ASCII 图解
- 三、DPO vs RLHF 5 维对比
- 四、偏好数据准备
- 4.1 数据格式
- 4.2 数据来源
- 4.3 实战：客服场景偏好数据
- 4.4 数据质量控制
- 五、DPO 实战：Qwen2.5-0.5B + TRL DPOTrainer
- 5.1 安装依赖
- 5.2 准备偏好数据
- 5.3 DPO 训练主脚本
- 5.4 启动训练
- 六、4 个常见踩坑
- 6.1 坑 1：chosen 质量不高
- 6.2 坑 2：chosen / rejected 区分度太小
- 6.3 坑 3：Ref 模型用错
- 6.4 坑 4：beta 设置不当
- 七、4 个行业应用
- 7.1 应用 1：客服风格统一
- 7.2 应用 2：内容审核
- 7.3 应用 3：写作助手
- 7.4 应用 4：代码生成
- 八、4 个生产级建议
- 8.1 建议 1：先用 SFT 收敛到"中等水平"
- 8.2 建议 2：偏好数据 ≥ 1000 对
- 8.3 建议 3：参考 D36-D40 监控
- 8.4 建议 4：DPO 后必做 Human Eval
- 九、Key Takeaways
- 十、思考题
- 十一、下篇预告
D41-DPO 偏好对齐微调：用偏好数据直接对齐模型
「60 天 AI 全栈转型」S3 模型训练与微调 · 第 6 篇 / 共 15 篇（S3 第二阶段开篇）
读者画像：已掌握 SFT（LoRA/全参）+ 数据 + 监控的开发者
预计阅读：30 分钟 · 实操：60-120 分钟
一、为什么 SFT 之后还需要"偏好对齐"
D36-D40 我们讲了 SFT（Supervised Fine-Tuning）：用"问题 → 答案"的数据训练模型。
但 SFT 有 3 个根本局限：
1.1 SFT 的 3 大局限
局限 1：只能学"标准答案"，学不会"对比"
SFT 训练数据： Q: 用户嫌价格贵 A: 我理解您对预算的关注～... 但实际上： - ❌ A: 价格已经最低了，爱买不买。（反面） - ✅ A: 我理解您对预算的关注～... SFT 把"好答案"喂给模型，但没告诉它"为什么 A 比 A' 好"。局限 2：多解时
