QLoRA 与 AdaLoRA：把微调显存再压一半，以及 rank 该给谁
【大模型面试通关手册 · 第 24 篇】
本篇覆盖：QLoRA 的四个组件（NF4 / 双量化 / 分页优化器 / bf16 计算）、NF4 为什么是正态分布下的最优、双量化的位数账、四个规模的真实显存、为什么慢却效果不掉；AdaLoRA 的 SVD 参数化、敏感性重要性评分、预算调度与正交正则；LoRA 四个改进方向的定位（LoRA 篇 3 题 + PEFT 篇 Q7）
一、面试现场：3 道题，4 句话，但技术密度最高
素材里这一组只有三题：
“QLoRA 的思路是怎么样的？”（2.1）
“QLoRA 的特点是什么？”（2.2）
“AdaLoRA 的思路是怎么样的？”（3.1）
答案加起来只有四句：
| 题 | 素材原文要点 |
|---|---|
| QLoRA 思路 | ① 用一种新颖的高精度技术把预训练模型量化为 4 bit；② 加一小组低秩适配器，通过量化权重的反向传播梯度微调 |
| QLoRA 特点 | 显著降低显存要求；训练速度慢于 LoRA |
