想让 Gemma 4 的回答带上你的专属风格与语气？gemma-skills仓库中的gemma-trainer技能内置了一套完整的DPO 偏好对齐工具链：偏好数据集准备、格式校验、QLoRA 一键训练脚本全部开箱即用。本文带你走完 Gemma 4 DPO 偏好对齐的完整实战流程——3 步上手，让模型稳定输出你想要的风格与语气。

1. DPO 偏好对齐是什么？3 句话讲透原理

• DPO（Direct Preference Optimization，直接偏好优化）通过「成对比较」教模型区分更好的回答（chosen）和更差的回答（rejected）。
• 相比 RLHF，DPO不需要单独训练奖励模型，直接在 SFT 后的模型权重上完成对齐，流程更短，本地就能跑。
• 对「风格、语气、行为」这类主观偏好，DPO 是最直接的手段——gemma-trainer 技能文档 将 DPO 明确定位为「Aligning model style, behavior, tone, or safety」的首选方法。

2. 准备工作：5 分钟拿好 gemma-skills 工具链

git clone https://gitcode.com/gh_mirrors/ge/gemma-skills

本次实战涉及以下核心文件，全部位于 skills/gemma-trainer/ 目录：

💡 这些 skills 也可以直接安装到支持 skills 的 AI 编程助手中，让助手按 SKILL.md 的方法论引导你完成整个训练过程。

3. 第 1 步：准备偏好数据集（prompt / chosen / rejected）

DPO 数据集的每条样本包含 3 个字段：提示词prompt、更好的回答chosen、更差的回答rejected（格式规范见 SKILL.md#L60-L68）：

{ "prompt": "写一个计算阶乘的 Python 函数。", "chosen": "def factorial(n):\n return 1 if n <= 1 else n * factorial(n - 1)", "rejected": "阶乘用递归或循环都行，直接 import math 吧。" }

三条硬性规则（由 validate_dpo_item 自动校验）：

• 三个字段缺一不可，且必须是非空字符串；
• chosen与rejected不能相同，否则模型学不到任何偏好信号；
• 想体现「风格偏好」，两条回答要拉开差距：一条符合你的目标语气，一条明显不符合。

没有现成数据？用 teacher 模型合成

distill_dataset.py 支持两种模式（参数见 distill_dataset.py#L376-L391）：

• --mode response：给一批提示词，用更大的 teacher 模型（如 Gemma 4 31B）生成回答，再从中挑选、改写出一对「好 vs 坏」；
• --mode synthesize：self-instruct 方式从种子主题自动批量合成样本，也可加--use-ollama走本地 Ollama 服务。

训练前先过一遍格式校验

python skills/gemma-trainer/assets/dataset_prep.py \ --file ./preference_data.json \ --task dpo \ --max-len 2048

它还会做一项关键的token 一致性检查（validate_dpo_tokenization）：确认独立 prompt 的 token 序列与 prompt+chosen、prompt+rejected 的开头完全对齐，从源头杜绝「格式漂移」。输出STATUS: SUCCESS即可进入下一步。

4. 第 2 步：先做 SFT 打底——顺序反了 DPO 会翻车

技能文档里有一条铁律（SKILL.md#L91-L97）：DPO 之前必须先完成 SFT。直接对未做 SFT 的基座模型跑 DPO，通常会训练失败或让输出格式劣化。

用 sft_train.py 完成一轮 QLoRA 监督微调：

• LoRA 超参参考 SKILL.md#L84-L88：r=16/32、lora_alpha = 2*r、QLoRA 学习率2e-4；
• 训练完成后得到一个 PEFT 适配器目录（下文记为./sft_output），它就是 DPO 的起点。

5. 第 3 步：一条命令启动 Gemma 4 DPO 训练

dpo_train.py 会自动检测 Unsloth——装了就用（省最多 70% 显存、提速至 2 倍），没装则自动回退到 TRL + PEFT；同时默认启用 4-bit QLoRA，把 Gemma 4 装进消费级显卡（原则见 SKILL.md#L10-L15）：

python skills/gemma-trainer/assets/dpo_train.py \ --base-model google/gemma-4-E2B \ --adapter ./sft_output \ --dataset ./preference_data.json \ --max-len 2048 --batch-size 1 --epochs 1 --lr 1e-6 \ --output ./dpo_output

关键参数速查（源码见 dpo_train.py#L190-L215）：

另有--force-hf（强制走标准 TRL 训练）与--force-no-qlora（关闭 QLoRA）两个开关。脚本还有两个贴心设计：

• 自动套聊天模板：apply_dpo_template 会把你的三元组自动包装成 Gemma 官方 chat 模板，无需手敲特殊 token；
• ref_model=None省显存：通过临时停用 LoRA 适配器动态计算参考模型输出（dpo_train.py#L160-L178）。

🎯 关于beta：技能文档建议取0.1，在 0.1–0.5 区间内控制模型对参考策略的贴合程度（SKILL.md#L95-L97）——值越大越「保守」，越不容易偏离原有风格。

6. DPO 常见问题速查表：OOM 与格式漂移避坑

7. 训练完成后：模型导出与本地部署

训练产物在--output指定目录（默认./dpo_output）中，是一个偏好对齐后的 LoRA 适配器。SKILL.md 给出了两条部署路线：

• Unsloth 原生导出 GGUF：训练时用了 Unsloth 的话，可直接完成合并 + 量化导出 GGUF，配合 llama.cpp 生态本地推理；
• 端侧部署 LiteRT-LM：E2B / E4B 小模型可导出.litertlm格式，跑在手机、Web 与 IoT 设备上，支持 CPU / GPU / NPU 硬件加速。

写在最后

用 gemma-skills 的 gemma-trainer 完成 Gemma 4 DPO 偏好对齐其实就 3 步：备好偏好数据集 → SFT 打底 → 一键 DPO 训练。工具链覆盖了从数据合成（distill_dataset.py）、格式校验（dataset_prep.py）到训练（dpo_train.py）的全流程，消费级显卡也能跑通。现在就把你的「风格偏好」喂给模型，让它说出你想要的语气吧 🚀