《LLM 技术全景：从 Token 到部署》系列 · 工程实践篇（第2篇）承上：第33篇《模型量化完全指南》｜启下：第35篇《vLLM 推理框架深度解析》摘要核心问题：量化（第33篇）只压缩了数值精度，没动模型"骨架"。当我们要把 7B/13B 模型塞进手机、IoT 或高并发服务时，光靠量化还不够——需要直接"动刀"改结构。两条路线：知识蒸馏（Knowledge Distillation）：让小模型（学生）模仿大模型（教师）的行为，把"暗知识"迁移过去；模型剪枝（Pruning）：直接删掉模型中"不重要"的权重/通道/层，让网络变稀疏或更窄。阅读收获：搞懂 soft label + 温度 为什么比 hard label 训得快、学得好；分清结构化剪枝（整通道删除，硬件友好）与非结构化剪枝（单权重删除，压缩比高但需稀疏内核）；拿到两段可运行代码：HF 蒸馏训练循环 + torch 剪枝与评估； 【LLM技术全景】第34篇 知识蒸馏与模型剪枝：让大模型更轻量
《LLM 技术全景：从 Token 到部署》系列 · 工程实践篇（第2篇）承上：第33篇《模型量化完全指南》｜启下：第35篇《vLLM 推理框架深度解析》摘要核心问题：量化（第33篇）只压缩了数值精度，没动模型"骨架"。当我们要把 7B/13B 模型塞进手机、IoT 或高并发服务时，光靠量化还不够——需要直接"动刀"改结构。两条路线：知识蒸馏（Knowledge Distillation）：让小模型（学生）模仿大模型（教师）的行为，把"暗知识"迁移过去；模型剪枝（Pruning）：直接删掉模型中"不重要"的权重/通道/层，让网络变稀疏或更窄。阅读收获：搞懂 soft label + 温度 为什么比 hard label 训得快、学得好；分清结构化剪枝（整通道删除，硬件友好）与非结构化剪枝（单权重删除，压缩比高但需稀疏内核）；拿到两段可运行代码：HF 蒸馏训练循环 + torch 剪枝与评估； RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
