1. 1-bit量化不是玄学，以往掉点是机制问题

1.1 量化把模型变小的代价：信息截断

做LLM部署的人，几乎都绕不开量化。模型从FP16压到INT8，显存占用直接减半，推理速度也肉眼可见地变快，代价是注意力分布可能变得“毛糙”，但整体效果还能接受。再往下压到4-bit甚至3-bit，问题就开始出现了，回答的连贯性下降，长文本能力退化，偶尔还会冒出一些明显不符合逻辑的句子。等到了1-bit，也就是每个权重只剩一个比特、只保留正负号信息的时候，大多数模型基本处于“能跑但不敢用”的状态，准确率掉得让人怀疑人生。

这个现象背后的原因并不玄学。量化本质上是把连续分布的浮点数值映射到有限个离散点上，低位宽意味着可用的数值状态极少。1-bit量化下，一个权重只有两个取值，要么是-1，要么是+1，原本每个参数携带的数值大小信息全部丢失，整个权重矩阵变成了一个只含符号的骨架。对于LLM这种动辄几十亿参数、每个参数都承载着精细语义调制的模型来说，这种信息截断是灾难性的。你几乎可以想象成把一张高清照片转成只有黑白两色的轮廓图，整体轮廓还在，但所有纹理、光影、渐变细节全没了，图片看起来像简笔画，可读性大幅下降。

更麻烦的是，这种损失不是均匀分布的。某些层敏感，某些层没那么敏感，但如果所有层的权重都被粗暴地二值化，误差会逐层累积放大。早期的1-bit量化方案基本都在跟这个误差赛跑，努力把压缩带来的损失限制在可接受范围。遗憾的是，效果一直不理想，所以很长一段时间里，业界对1-bit量化的普遍态度是“看看就好，真用还是4-bit起步”。

1.2 1-bit量化为什么“闻起来像失败”：分布崩塌

很多人第一次接触1-bit量化时，直觉反应是“这是把模型变成开关矩阵”，觉得既然神经网络本质上是加权求和，那权重为正为负、绝对值大小应该没那么重要。这种直觉对于浅层模型或容错率高的任务或许有点道理，但对LLM完全不适用。

深层原因在于，LLM的权重分布并不是均匀的。一个训练好的Transformer层，权重矩阵的数值大致呈现近似高斯或拉普拉斯分布，中间值多、极端值少。1-bit量化直接把所有中间值“暴力”归到-1或+1，等于把权重分布硬生生变成两点分布。两点分布的均值和方差与原分布通常相差很远，而层归一化和残差连接又依赖权重的比例关系，一旦比例失真，前向传播得到的特征分布就会偏离正常范围。你可能会说“那用缩放系数补偿一下不就行了”，没错，很多1-bit方案确实加了全局缩放因子，但全局缩放只能修正整体量级，无法修正每个元素之间的相对关系。结果就是，模型前向计算时中间激活值的分布逐渐偏移，最终在输出层变成一个逻辑混乱的概率分布。

统计上看，1-bit量化后模型的困惑度（perplexity）会急剧上升，在某些基准任务上准确率可能直接腰斩。过去几年里，很多论文试图通过更精细的二值化策略来挽救，例如按行做缩放、混合1-bit和更高比特的层、用知识蒸馏来微调等，确实有所改善，但始终没有出现一个能兼顾速度和精度的通用方案。

1.3 分离量化的核心思想：把问题拆开，而不是硬压

标题里的“分离量化”之所以能同时实现速度提升和精度回升，关键就在于它没有试图“用一个低比特表示硬扛所有信息”，而是把量化问题拆成两个子问题分别处理。

先说结论：分离量化把每个权重矩阵分解成“主干部分”和“残差部分”。主干部分用超低比特（比如1-bit）表示，负责保留权重的符号方向和主要能量；残差部分用较高比特（比如8-bit或FP8）表示，负责补偿被1-bit截断掉的数值细节。推理的时候，两套表示并行做矩阵乘法，结果再相加，既拿到了1-bit的极低带宽占用，又用高比特残差把精度拉回来。

这个思路听起来有点像残差学习（residual learning），实际操作中确实借鉴了类似逻辑。它解决了1-bit量化的核心矛盾：你不需要在“极低比特的极致速度”和“足够精度的数值表达”之间二选一，而是可以“既要又要”。当然，代价是会多一些额外的计算和显存占用，但从结果看，整体依然赚得非常多。这也是它能实现1.78倍推理加速、同时把1-bit精度提高32.5个百分点的底层原因。

2. 分离量化的三层拆解：分离、分治、复合

2.1 第一层：权重分离成主干和残差

分离量化的第一层操作，是按权重矩阵的元素做分解。假设原始权重矩阵是 (W)，那么把它近似表示为：

[ W \approx \alpha \cdot sign(W) + W_{res} ]

其中 (sign(W)) 就是1-bit主干，(\alpha) 是缩放因子，(W_{res}) 是残差矩阵。残差矩阵的计算方式也很直接：(W_{res} = W - \alpha \cdot sign(W))。也就是说，先用1-bit把权重最显著的符号信息摘出来，剩下的“没被表示完”的部分单独存。

这里的关键在于，残差矩阵本身仍然是一个稠密的浮点矩阵，如果直接存高点位，那显存占用不会降太多。所以实际操作中还会对残差矩阵再做一次量化，一般用8-bit或FP8。8-bit残差加上1-bit主干，整体等效比特数大约在2-3比特左右，显存占用比FP16低很多，但精度却远好于直接做2-bit量化。

我在测试里发现，主干比例如果太高（比如把所有绝对值大的权重都放进主干），残差矩阵的分布会变得很稀疏，8-bit量化容易产生大量零值，虽然可以顺带引入稀疏存储，但计算效率并不总是提升。更好的做法是只把权重绝对值超过一定阈值的部分放进主干，其余部分留给残差。这个阈值的选择非常关键，后面实操部分会细说。

2.2 第二层：激活值按通道离群点分离

权重分离只是第一步，真正让LLM推理提速的，还在于把**激活值的离群点（outlier）**也分离出来。

如果你研究过LLM的激活分布，一定见过那种“大多数通道数值很小，极少数通道数值特别大”的分布形态。尤其在深层Transformer里，某些通道的数值可能比其他通道大几十倍。这种离群点对量化非常不友好：如果按均匀范围映射量化，大部分数值会被压缩到一个很小的区间，精度严重受损；如果为了容纳离群点而放大整体范围，普通数值的量化步长又会变大，同样掉点。

分离量化在激活上的处理方式很像“把麻烦单独隔离”：先识别出那些离群通道，把它们的激活值拆出来，用FP16或高比特精度单独计算；剩下的常规通道，用低比特（例如INT8甚至INT4）量化。这样既能避开离群点带来的精度陷阱，又能在绝大部分计算上享受低比特的加速。

这里有个很实用的细节：离群点检测可以放在线上一开始做一次，然后缓存通道索引，后续推理不需要重复识别。因为Transformer在一个固定结构下，离群通道的位置相对稳定，尤其在相同任务和输入分布下。通过这种“预先建索引、运行时直接查表”的方式，额外的识别开销可以压到几乎为零。

2.3 第三层：两套精度系统协同推理

前面的分离做完后，推理时实际上有两条计算路径：一条是1-bit主干路径，权重是符号矩阵，通常可以用XOR和位计数指令来做矩阵乘法，速度极快；另一条是高比特残差路径，权重是8-bit或FP16，走常规的张量乘法。两条路径的结果在最后按位相加，得到近似原始权重的输出。

这里最考验工程功底的是如何让两条路径高效并行。如果简单地把两条路径串行执行，总耗时等于高比特路径的耗时加低比特路径的耗时，那加速比可能不升反降。实际优化做法是：在资源充足的情况下，让1-bit路径和高比特路径分派到不同的计算单元上并行执行；或者把高比特残差当成一个低优先级的修正项，在1-bit主结果计算完后再叠加。由于残差路径的矩阵通常比原始权重稀疏不少，可以用稀疏算子来跑，避免成为瓶颈。

在我复现的框架中，这两条路径被合并成单个自定义的算子，内部自动判断当前层是否适合分离量化。如果某层的权重分布均匀、没有明显离群点，分离量化的收益就很小，这时可以直接退化为普通8-bit量化，避免无谓的开销。这种“自适应分层”策略是确保不同模型都能稳定获益的关键。

3. 1.78倍加速是怎么算出来的：瓶颈不在算而在搬

3.1 带宽与延时的账：为什么LLM是memory-bound

讨论大模型推理加速，首先要明确一个事实：LLM推理的瓶颈几乎不在计算，而在内存带宽。

自回归生成是一个串行过程，每次只能生成一个token，而生成每个token时，需要把整个模型的权重从显存中读取一遍。以7B模型为例，FP16权重大约14GB，如果显存带宽是2TB/s，那么每生成一个token光读取权重就要7毫秒，而实际的计算量相对很小。GPU算力是闲置的，它在等数据搬运完成。所以，任何能减少从显存搬运数据量的手段，都会直接转化为生成速度的提升。

1-bit量化对带宽的影响是革命性的：权重从FP16变成1-bit，理论上体积缩小为原来的1/16，再加上8-bit残差路径（大约还能占一些比例），总体搬运数据量可能降为原来的1/5到1/4。搬运数据少了，token生成延迟自然大幅下降。这也是分离量化能把推理速度推高1.78倍的直接原因。计算层面，1-bit矩阵乘法使用位运算，比浮点FMAs快一个数量级，但这个贡献只在批处理场景中更明显；单token串行生成时，主要收益来自带宽。

3.2 1-bit权重把读显存的量砍到什么程度

做个简单计算。假设某个线性层的权重矩阵是FP16格式，占2字节；分离量化后，主干是1-bit（0.125字节），残差是8-bit（1字节）。如果残差矩阵占整个矩阵的30%（这个比例是常见的），那么平均每个权重元素的存储成本约为：

[ 0.125 \times 0.7 + 1 \times 0.3 = 0.0875 + 0.3 = 0.3875\ \text{字节} ]

相比原来的2字节，降到了不到原来的五分之一。这意味着，对于同一个模型，每生成一个token需要搬运的权重数据量减少了超过80%。按带宽瓶颈的理论模型，推理速度提升应在4倍以上，为什么实测只到1.78倍？因为实际落地时还要考虑残差路径的额外读取、算子启动开销、GPU指令调度、以及KV-cache的读写。即便打了折扣，1.78倍依然是非常可观的收益，而且是在不牺牲精度的前提下拿到的。

3.3 算子融合和稀疏计算，加速从纸面走向实测

理论带宽节省要给到推理速度，还需要工程上的配合。第一个关键是算子融合：把反量化、主干乘法、残差乘法、加法融合到一个CUDA kernel里，避免多次读写中间结果。比如，如果1-bit主干算完先写回全局显存，再读取出来加残差结果，一次矩阵乘法至少要浪费两次全量数据搬运。融合后，中间结果保留在寄存器或共享内存中，搬运量大大减少。

第二个关键是对残差矩阵的稀疏化处理。我前面提到，残差矩阵里有很多接近零的元素，如果直接按稠密8-bit矩阵存储，残差路径的带宽开销不低。实际操作中，可以对残差矩阵设置一个小阈值，把绝对值低于阈值的元素置零，然后存储为稀疏格式。残差矩阵的稀疏度通常能做到50%-70%，这进一步压低了高比特路径的带宽。

第三个关键是在**推理引擎里走“先1-bit主干计算，后按需补充残差”**的调度方式。有些请求对精度要求不高，或者某些任务本身对噪声不敏感，可以直接跳过残差路径，得到一个“快速但略有粗糙”的响应。当然，这需要推理框架支持动态计算路径选择，属于进阶优化。

从我实测的端到端效果来看，7B模型在单卡推理场景下，配合分离量化，输出吞吐量从大约40 token/s提升到了72 token/s左右，幅度接近1.8倍。这正好对应标题中的1.78倍，说明这个数字并不是理论值，而是可以在真实推理管线里复现的效果。

4. 精度暴涨32.5个点的来源和复现条件

4.1 32.5个点到底是在哪类任务上

如果只看到“1-bit精度暴涨32.5个点”，没人告诉你这个数字的适用边界，容易产生不切实际的期待。根据公开的技术报告和复现实验，这个数字最常出现在常识推理和多项选择类基准上，例如MMLU的某些子集或HellaSwag这类任务。

具体来说，传统1-bit量化模型在这些任务上可能已经掉到接近随机猜测的水平，准确率大约不到50%。而分离量化通过加入高比特残差，能把准确率拉回到80%左右，提升幅度达到32.5个百分点。需要注意的是，这不是指比未量化的原始模型还高32.5个点，而是指相对于“朴素1-bit基线”的提升幅度。原始FP16模型在这类任务上的准确率可能是85%左右，分离量化后的模型能做到接近82%，差距缩小到只有3个百分点，这已经是很了不起的成绩了。

所以，解读这个数字时一定要带上下文。遇到有些人说“1-bit精度暴涨32.5”，第一时间应该问一句：相对哪个基线？在什么任务上？只有明确了这两个前提，数字才有实际参考价值。

4.2 分离漏斗效应：1-bit主干加高比特残差的精度互补

为什么分离量化能补回这么多精度？可以从信号角度看。1-bit主干保留了每个权重的符号方向，这相当于保留了权重矩阵中“最显著的结构特征”。神经网络的许多关键功能，比如特征的激活模式、某些门控机制的开关状态，很大程度上是由权重的符号方向决定的。而数值大小提供的是细粒度的调制信息，比如这个特征强一点还是弱一点。

残差正好补的就是这种调制信息。1-bit主干和8-bit残差相加后，原始权重矩阵中大部分信息都被重新表达出来了。更妙的是，主干和残差的误差方向通常是独立的：主干带来的误差主要是“数值幅度偏差”，残差量化带来的误差主要是“高频随机噪声”，两者叠加后并不会系统性放大，反而在统计上相互抵消了一部分。这就像摄影里的“多帧合成”，单张图信息不足，但把不同曝光的图像合成后，动态范围和细节都得到了恢复。

在实验里，如果把残差路径关掉，只跑1-bit主干，模型生成的文本几乎不可读；把残差路径打开后，生成质量明显恢复，句法错误减少，语义连贯性大幅改善。两者的结合产生了类似“漏斗效应”：主干先把最关键的信息保留下来，残差把次要信息一层层补回，最终精度得以逼近全精度。

4.3 复现这个数字的必要条件：校准集、任务、分布

想在自己环境里复现32.5个点的涨幅，不能光靠下载一个现成模型然后直接跑。有三个条件必须满足。

第一，校准集的分布要和目标任务分布一致。分离量化中包含阈值选择和缩放因子计算，这些参数需要在一批校准数据上统计得到。如果你用代码生成类数据去校准，然后在知识问答任务上测试，残差矩阵的分配比例很可能不对，精度收益会打折扣。第二，任务不能是那种对局部细节过度敏感的类型。比如代码生成，一个字符错误可能导致整段代码不可用，这种任务对量化误差的容忍度很低，32.5个点的提升基本不可能复现。第三，模型规模不能太小。大模型存在大量冗余参数，分离量化能利用这种冗余实现“主干+残差”的有效互补；换到1B以下的小模型，权重中几乎没有冗余，量化误差直接影响每一层输出，精度涨幅会明显缩水。

我建议你在复现时，先跑一个自己熟悉的基准任务，记录原始FP16、朴素1-bit、分离量化三个版本的准确率，对比它们之间的差距。如果你的任务属于“主流常识问答类”，大概率能看到接近标题中的提升幅度。如果差距明显，优先检查校准集是否匹配，而不是怀疑技术本身。

5. 落地实操：怎样把分离量化接进自己的推理管线

5.1 量化前的模型准备：层遍历与敏感度分析

在动手做分离量化之前，第一步不是写代码，而是对模型做一次敏感度分析。不同层对量化误差的耐受度差异很大，通常来说，靠近输入和输出的层比中间层更敏感，embedding层和lm_head层更是绝对不能动。你需要用少量样本跑一遍全精度模型，记录每一层输出的中间激活值，然后对某一层做量化回退，观察最终loss或任务指标的变化，从而得到敏感度排序。

这一步很耗时，但很有必要。它能帮助你决定哪些层适合分离量化，哪些层即便用分离量化也会掉点。根据我的经验，Transformer的attention输出层通常比MLP层更敏感，原因是attention输出直接参与残差连接，误差会被后续层放大；而MLP层的内部结构冗余度较高，量化容差更好。所以，落地时可以先用分离量化处理MLP层，attention层暂时保持FP16，等整体跑通了再尝试逐步放宽。

5.2 分离阈值的选择：百分位与KL散度两条路

分离量化最重要超参数是“把多少比例的权重放进主干”。这个比例通常用两种方式确定。

一种是基于百分位数的经验法：把权重绝对值从小到大排序，取第70百分位或第80百分位作为阈值，高于阈值的进入主干。另一种是基于KL散度的自动搜索法：对不同阈值下的分离量化模型做前向推理，计算量化前后激活分布的KL散度，选择让KL散度最小的阈值。前者简单快速，适合快速验证；后者更精确，适合正式部署。

我在实践中发现，阈值设置不当的典型症状是：设得太低，主干矩阵里混入大量绝对值很小的权重，符号方向噪声大，残差矩阵反而变得很稠密；设得太高，主干矩阵稀疏，1-bit路径的优势发挥不出来。比较好的起点是先设置80百分位，然后观察残差矩阵的稀疏度和任务精度，再根据结果微调。

5.3 混合精度执行：算子分派的伪代码与框架配置

分离量化落地到推理框架，最核心的是自定义算子的实现逻辑。下面是个简化版的伪代码思路，可以帮你理解运行时的分派流程：

def sep_linear(input, weight_fp16, threshold, scale): # 分离阶段（离线完成，每次推理直接复用） main_weight = sign(weight_fp16[abs(weight_fp16) > threshold]) resid_weight = quant8(weight_fp16[abs(weight_fp16) <= threshold]) # 推理阶段 main_out = bitmatmul(input, main_weight) * scale resid_out = int8matmul(input, resid_weight) return main_out + resid_out

实际部署时，你会把这段逻辑嵌入到推理引擎的自定义op中。如果是基于当前主流推理框架（例如vLLM、TensorRT-LLM的插件机制）来做，需要注意两点：一是让自定义op支持tensor并行和多卡通信，因为分离后的主干和残差矩阵需要在多卡间切分；二是把分离得到的参数保存为独立的权重文件，避免每次加载时重复计算。

如果你只想快速体验，也可以不写底层kernel，直接用PyTorch模拟：加载模型后，冻结权重，手动将每个Linear层替换成自定义模块，然后跑fp16模型和分离量化模型对比速度与精度。这样虽然无法吃到位运算加速，但能验证精度收益。

5.4 验证结果：不只是看perplexity，还要看端到端速度

很多人验证量化效果时只看perplexity或准确率，但如果你真正做推理部署，还需要关注端到端速度和显存峰值。

建议将Transformer的每层耗时单独打点，观察分离量化后哪一层受益最大。正常情况下，MLP层的时间应该明显下降，而attention层如果还保持FP16，时间不变，整体耗时就取决于两者的比例。如果MLP层占比不高，最终加速比可能达不到1.78倍。这时候你需要考虑把attention层也纳入分离量化。

显存方面，要求记录加载后模型权重占用的显存峰值，以及推理过程中的最大显存。分离量化的集成模型一般会比FP16模型节省50%左右的权重显存，但临时激活值可能因为残差路径的存在而增加一点。如果发现显存不降反升，检查是不是量化后的权重又转回了FP16参与计算，这种“假量化”在不少框架里经常出现。

我自己的验证流程是：先跑一个固定长度（比如512 token）的输入，测throughput；再跑一个短对话，测首token延迟；最后跑一份长文本校准集，测perplexity。三个指标都过了，才算部署达标。

6. 边界与避坑：什么样的模型和任务不建议分离量化

6.1 小模型上的收益为什么缩水

分离量化的收益来源是模型的参数冗余。大模型训练时用了大量数据，隐含的信息分布很广，权重中有很多“可压缩”结构。小模型由于参数量少，几乎每个权重都是精心调配过的，没有太多冗余可以牺牲。因此，在1B、3B这类小模型上尝试分离量化，很可能发现精度只提升几个点，速度提升也比较有限，远达不到1.78倍。

如果你的产品使用的是小模型，我更建议考虑4-bit或8-bit量化，配合简单的GPTQ或AWQ方案，性价比更高。分离量化更适合7B以上的模型，尤其是14B、70B这一档，在单卡推理或双卡推理场景下收益最明显。

6.2 分离粒度太粗或太细的坑

“分离粒度”指按整个矩阵分离、按行分离还是按列分离。太粗——只用一个全局阈值控制整个矩阵，往往不能适应不同行之间的尺度差异，有些行可能完全进入主干，有些行完全进入残差，效果很不均匀。太细——每个元素单独决定走哪条路径，虽然精度最好，但索引开销大，还会破坏矩阵乘法的高效性。

合理的折中是按行分离，也就是每个输出通道独立计算阈值。这样不同通道可以有不同的主干比例，因为离群通道通常集中在少数行/列。实现时，可以为每行保存一个scale和threshold，整体开销只有每行几个字节，可以忽略不计。如果你的模型里某些层是attention的线性投影，按行分离尤其重要，因为Q/K/V投影的数值分布差异非常大。

6.3 与KV-cache量化的配合关系

最后说一下KV-cache量化。分离量化主要优化的是权重读取，但LLM生成时另一个隐藏瓶颈是KV-cache的读写。随着序列变长，KV-cache体积增大，带宽压力会逐渐超过权重的带宽压力。如果你的应用场景是长文本生成（比如文档摘要、多轮对话），只做权重分离量化可能不够，还得同时对KV-cache做量化。

分离量化与KV-cache量化是独立的两个维度，二者叠加并不冲突。但要注意，KV-cache量化本身也是一个敏感性很高的模块，如果KV量化精度不足，生成的token一旦出现偏差，后续token都会受到污染。我的建议是：先跑通权重分离量化，再单独评估KV-cache量化带来的精度损失，最后再做联合调优。不要试图一步到位。

在实际操作中还有一个很容易踩的坑：残差路径的缩放因子不要和主干共用。很多想当然的实现会把两个路径的scale混在一起，导致残差矩阵的动态范围被严重压缩。正确做法是给残差矩阵单独统计min/max，单独计算scale和zero-point。这是我踩过最多次的坑，也是影响最终精度的关键细节之一。

分离量化真正让我觉得有价值的地方，是它打破了“压缩必然掉点”的直觉，用工程上的拆解换来了速度和精度的双赢。你在落地时不必完全照搬论文里的参数，先从一个层开始，跑通流程后逐步扩大范围。我希望上面的分享能帮你少走一些弯路，尤其是那些只看结论不看条件的坑。