# ALRA: Adaptive Local Relational Alignment 论文总结与翻译
> 论文信息：arXiv:2609.03355，基于Logit的自回归语言模型预训练蒸馏自适应局部关系对齐方法
## 一、文章主要内容
本文针对**自回归大语言模型Logit知识蒸馏**开展研究。传统全局蒸馏对整个词表对齐教师与学生的下一个token分布，但忽略候选token之间的相对偏好关系；现有局部蒸馏方案仅单独从教师或者学生侧筛选候选token，纯教师筛选会漏掉学生认为高概率的token，纯学生筛选在训练早期学生排序不准时效果差。
文章提出**ALRA（Adaptive Local Relational Alignment，自适应局部关系对齐）**，是一套逐位置的蒸馏框架，融合学生候选提议与教师引导。
1. 在每个预测位置，由学生输出高概率token作为候选，同时强制加入教师最可能token作为锚点；依据候选集合内教师概率分布的分散程度动态调整局部候选集大小。
2. 设计**自适应局部散度ALD**：保留质量匹配项，分别对齐局部选中词表区域与剩余词表区域的条件分布，避免某区域因教师概率低而权重被压低。
3. 设计**学生加权成对关系对齐SWPRA**：重点关注学生侧概率高、概率差距小的token对，弱化低概率、概率差距悬殊的token对的监督。
**实验设置**：数据集The Pile，冻结Qwen1.5‑1.8B作为教师，从零初始化200M、500M参数学生模型，9个零样本评测基准。
- 200M学生平均准确率36.62%，500M学生平均准确率37.40%；
- 对比最强蒸馏基线分别提升0.94、0.83个百分点；对比无蒸馏预训练分别提升2.31、2.91个百分
