先说个真实场景两周前有个做AI产品的朋友问我同一个本地化部署的模型在公司训练机上跑得好好的放到客户的内网机器上要么爆显存要么慢得像幻灯片。我看了一眼配置单训练卡是80G显存客户那边只有一张消费级的12G显卡然后模型权重还是FP32存的。问题根本不在“模型不行”而在“从没想过精度和硬件要一起规划”。如果你也在纠结“同一个模型到底该用FP16、INT8还是INT4到底配什么硬件才合适”这篇文章就是写给你的。我不讲花哨的算法理论只说我在实际部署中怎么算、怎么测、怎么选以及踩过的那些坑。1. 模型精度不止是“快了多少”先弄明白FP32、FP16、BF16、INT8的真实差异很多人对精度的理解停留在“数字越小越快”这没错但会误导选型。精度选择的第一原则不是快而是“这个数值范围下模型还能不能保持原来的行为”。要搞懂这个得先知道精度到底改了什么。1.1 精度参数的本质指数位和尾数位管的是两件事浮点数在计算机里由三部分组成符号位、指数位、尾数位。FP32是1位符号、8位指数、23位尾数总共32位FP16是1位符号、5位指数、10位尾数BF16则是1位符号、8位指数、7位尾数。指数位决定的是“能表示多大或多小的数”尾数位决定的是“同一个数量级下能分得多细”。完整项目资料可在 https://www.cnblogs.com 以及 https://arxiv.org 查阅相关技术讲解。打个比方指数位像一杆秤的量程尾数位像秤上的刻度精度。FP16的量程比FP32小得多最大值也就65504一旦梯度或中间激活值超过这个范围就直接变成Inf而BF16虽然保留了和FP32一样的量程但刻度变粗了只能精确到大约3位有效数字。这带来的直接影响是FP16在训练时经常出现梯度上溢BF16在训练场景下反而更稳而推理场景没有反向传播FP16和BF16的差异主要体现在累积误差上。所以你会看到同一个模型用FP16和BF16跑出来的结果在关键层输出上会有细微偏差但部署时两者往往可以互换。提示判断一个精度适不适合你的模型先看它的权重分布范围。如果模型里出现大量大于10000的中间值FP16大概率会翻车BF16和FP32才是安全选项。1.2 BF16为什么在模型推理领域“后来居上”BF16刚提出来的时候很多人质疑它“尾数位太少精度肯定很差”但实际部署下来BF16成了我目前在大多数模型上的默认精度。原因有两个。第一模型权重的有效信息集中在前几位有效数字BF16砍掉的精度大多是噪声级别的第二几乎所有新出的AI加速硬件都对BF16做了原生支持算力比FP16还高并且数据格式转换几乎零成本。我实测过一个中文场景的语义相似度模型FP32下准确率92.1%BF16下91.8%FP16下91.9%。三者在精度上差距在0.3%以内但显存占用从FP32的2GB直接降到1GB推理延迟也下降了近40%。对一个生产环境来说0.3%的准确率换一半显存和四成延迟非常划算。所以我的建议是在你打算大张旗鼓搞INT8量化之前先把模型转成BF16跑一遍很多“显存不够”“速度太慢”的问题在这一步就解决一半了。1.3 从浮点到整数量化为什么能把模型压到四分之一如果说BF16还是“浮点世界的省电模式”那INT8就是把整个模型从“高精度实验室”搬进了“低成本工厂”。INT8只有8位却要表示原来32位浮点数的动态范围做法就是对权重做缩放映射。把每个权重除以一个缩放系数再四舍五入到-128到127的整数范围。关键的是这个缩放系数是按层算的还是按整个张量算的影响特别大。按层算per-channel/per-group能保留更多的原始差异按整个张量算per-tensor实现简单但精度损失更容易放大。从FP16到INT8模型体积直接减半显存占用又能再降一半推理吞吐往往翻倍以上。但代价是模型输出分布长得比较“偏”的层容易在量化后漂移尤其是那些输出值有明显长尾特征的模块——常见于多分类任务的最后一层或者某些归一化层。注意量化不是“无损压缩”更像“有损压缩”。目标是把损失控制到用户感知不到的范围而不是追求零误差。部署前一定要用真实业务数据做量化校准并且对比量化前后的核心指标。2. 显存、算力、带宽三个数字决定你该配什么硬件很多人选硬件只看显存够不够大结果买回来发现算力溢出但带宽不够大模型跑起来还是一卡一卡的。其实决定硬件选型的是三个数字显存容量、计算峰值、显存带宽。它们各自卡着不同环节。2.1 显存估算公式别只算权重把中间结果也算进去很多人估算显存只统计模型权重文件大小比如一个7B的FP16模型权重14GB觉得自己有16GB显存就能跑。实际上模型跑起来时除了权重还需要存放KV cache注意力机制的缓存、临时激活值、优化器状态训练时以及框架的额外开销。推理场景下最常用的估算公式session显存 模型权重大小 × 1.2 KV cache预估 批处理激活值预估模型权重大小很好算参数量 × 每个参数的字节数。7B模型FP16就是14GBINT8就是7GBINT4约3.5GB。KV cache的大小取决于序列长度和层数公式是2 × 层数 × 头数 × 头维度 × 序列长度 × 精度字节数看起来复杂但在实际配置里长上下文场景下KV cache经常占掉比模型权重还多的显存。这就是为什么同一个模型有人跑512长度上下文轻轻松松一改成4096就爆显存——多出来的不是模型本身的显存而是暴涨的KV cache。2.2 算力和带宽的“木桶效应”算得再快喂不进数据也白搭显卡的计算峰值TFLOPS和显存带宽GB/s是两回事。一个形象的比喻是计算峰值是餐厅厨房做菜的速度显存带宽是服务员传菜的速度。厨房再快服务员传不过来整桌客人还是得等。Transformer类的模型尤其吃带宽因为每个token的生成都依赖把整个权重矩阵从显存搬到计算单元。业内有一个经验值叫“算术强度”模型在生成阶段的算术强度很低基本属于带宽瓶颈型任务。一块3090显存带宽936GB/s和一块A100 40G带宽1555GB/s在跑7B模型时吞吐差距甚至比算力差距更明显。所以在考虑换卡之前先查一张表你的卡的显存带宽是多少如果带宽不够换张算力更高但带宽差不多的卡收益非常有限。2.3 不同规模模型的实际选型参考从0.5B到70B根据我这段时间的部署经验不同规模的模型和硬件匹配建议如下模型规模推荐精度最低显存推荐硬件实际经验0.5B-3BINT8/FP162GB-6GB中低端显卡、NUC、树莓派级别这类模型瓶颈通常在内存带宽而非显存CPU推理也能扛7B-13BINT4/INT86GB-12GBRTX 3060/4060/3090、M系列Mac消费级显卡完全可跑INT4建议配长上下文的小模型30B-34BINT4/BF1616GB-30GBRTX 4090、A5000、Mac Studio消费卡跑INT4较稳BF16需要30G以上显存65B-70BINT4/INT840GB-80GBA100、双卡4090、云主机单卡消费级基本没戏必须考虑多卡或纯CPU注意上述显存是“起步值”用于单用户低并发场景。如果要同时服务10个以上的用户显存至少要按1.5到2倍去估算。3. 同一个模型四套精度的选型参考这轮我挨个实测过下面这部分是我真正花时间跑过的对比。模型选了一个比较典型的开源生成模型名字不重要重要的是结论可迁移分别用BF16、INT8、INT4三种精度在三种硬件上测了效果。我不追求给出一刀切的答案而是想说明每种精度适合什么场景。3.1 BF16跑精度敏感场景的“基准线”如果你对模型输出质量要求极高比如医疗报告解读、合同信息抽取、代码生成这类下游对错误容忍度很低的场景BF16是默认起点。实际测试中BF16相比FP32的指标下降几乎可以忽略但显存节省一半速度提升明显。它不需要做任何额外的校准流程转换成本最低是“无脑可上”的精度选项。最好配合干的活儿知识问答、内容生成等涉及大量自由文本输出的场景微调后刚出炉还没充分验证过的模型后续还要继续迭代调优的模型3.2 INT8实践中最稳妥的部署精度INT8是我个人最推荐的部署精度。原因很简单质量损失小收益大而且几乎不需要额外调参。在同样的中文生成模型上INT8对比BF16的困惑度下降通常在0.5-2%之间人类几乎察觉不到但显存占用再减一半推理速度又能提升50%以上。如果是带量化感知训练过的模型INT8甚至能做到和FP16几乎无差别的输出质量。INT8的黄金场景是部署后需要长期稳定运行、不想频繁调优的服务需要同时服务多个模型的机器想腾出显存目标硬件是上一代显卡或边缘设备对INT8支持成熟3.3 INT4给消费级显卡用户的最大福音但别忽视副作用INT4是个让人又爱又恨的选项。爱的是一张8GB显存的卡就能跑7B级别的模型恨的是一旦量化校准做不好输出质量会“优雅地崩溃”——意思是不报错但生成的内容开始逻辑混乱、词不达意。我在实测中发现同一个模型在INT4下简单的事实性问答还能维持80%以上的准确率但多步推理的复杂任务直接掉到60%以下。这不能完全怪量化INT4把权重低位信息砍得太狠模型原本依赖的精细关联模式被截断了。所以INT4更适合个人本地体验、demo演示、跑通流程显存实在不够但模型又必须本地跑的硬性约束短文本生成、检索增强生成类任务因为可以搭配外部知识库兜底如果要用INT4务必用高品质的量化工具做校准并且至少开5-10组真实测试用例做回归对比别只看一两句生成结果就拍板上线。3.4 轻量模型别盲目追求“大精度”回归模型和Embedding模型的另一套逻辑不是所有模型都需要考虑FP32/INT8的取舍。像lightgbm回归模型、embedding模型这种参数规模小的精度影响完全不在一个维度上。lightgbm这类GBDT模型本质上保存的是树的分裂阈值和叶子权重这些值对浮点偏差不敏感。用float64转float32预测结果几乎完全一致。所以对这类模型真正影响预测精度的是特征工程和超参数而不是部署精度——硬要在embedding模型上做INT8量化反而可能因为相似度计算的空间距离被压缩导致召回率下降。我在实际项目里见过有人把embedding模型从FP16转INT8结果检索命中率掉了5个百分点后来换回FP16就恢复了。所以对轻量级模型我的建议是精度够用就行别为了“显得专业”硬上量化把时间花在特征质量上性价比更高。4. 硬件“够用”和“好用”的边界显卡、Mac、边缘设备怎么选选定精度之后硬件选型的逻辑才真正落地。同样一个INT8模型在不同硬件上的体验可能差出三倍以上。这节我用三个常见硬件类别来聊边界在哪。4.1 消费级显卡的显存瓶颈3060、4060、4090的真实定位20系到40系显卡目前是个人部署的主力。其中30系因为二手价格便宜、显存大、支持技术成熟反而是“性价比”路线里的稳定之选。30系和40系主流都支持INT8推理加速跑7B模型INT8精度非常流畅。但消费级显卡有两条明显边界显存上限摆在那12GB只能算“入门够用”24GB才能算“从容”双卡互联带宽远不如数据中心平台组双卡跑大模型效率会打折扣实测下来一张3090 24G跑7B模型BF16单用户流式输出速度可以到每秒35-50个token多用户并发一上来就明显吃力。如果换INT8显存占用减半可以同时服务更多用户但并发超过8个时延迟还是会逐步升高。建议如果你的核心诉求是“本地跑7B模型且不想折腾”INT8 12G显卡是最低门槛。想更舒服一点24G显卡 BF16/INT8都随便跑。4.2 数据中心显卡的“按需分配”玩法A100、L40S、A10的取舍数据中心级别显卡的核心优势不只是算力而是显存带宽、多卡互联和虚拟化能力。A100 80G跑70B模型INT4都没问题L40S更偏向推理场景优化A10 24G则是成本更低的入门方案。这块我的经验是不要一上来就上A100。先确认你的服务需要多大并发。如果是内部工具10个人用和100个人用完全是两套配置方案。很多项目其实用几块A10或者消费级3090在云端租着就能满足需求长租A100的性价比反而低。4.3 专用硬件和端侧设备Apple Silicon、NPU、嵌入式并不适合所有模型Mac的Apple Silicon在跑量化模型时能效比极高M系列芯片的NPU对INT8和FP16支持也不错跑7B及以下模型效果很好。但问题在于生态很多量化算子在不支持CUDA的环境下要单独适配用到特定算子时可能退化成CPU执行速度骤降。嵌入式设备比如开发板搭的NPU则更适合轻量模型比如目标检测、分类、语音唤醒这类。我见过有人硬要在嵌入式设备上跑30B大模型结果只能靠INT4加极短上下文还频繁内存溢出——这不是设备不行是选型错了。端侧设备的边界是模型参数最好在3B以下序列长度控制在512以内。5. 实际跑模型时最容易翻车的地方我的踩坑记录和排查思路最后这部分我复盘几次实际部署中踩过的坑给你一套可以照抄的排查链路。5.1 量化后精度下降怎么定位是哪个层出了问题INT8量化后精度下降最忌讳的就是“感觉不对劲但说不清哪里不对”。我建议按三步定位第一步跑一组标准测试集对比产出结果的指标准确率、相似度、困惑度。第二步把模型拆开逐层对比FP16和INT8的输出差值最容易出问题的地方集中在Embedding层、LayerNorm层、最后的输出层。第三步针对差异最大的层做一次局部保留高精度混合精度策略只把这层留在FP16其他层继续INT8。我在实践中发现大部分模型把输出层和归一化层保留FP16/E precision后整体精度就能恢复到接近原来的水平而显存只多占用了不到10%。5.2 显存不够时别急着换卡动态卸载还有这些门道显存不够时第一反应是换大卡这个思路在固定硬件环境下往往走不通。实际有几个不用换卡就能缓解的方法开启KV cache量化把注意力缓存放INT8存储能省下不少显存滑动窗口或截断上下文控制KV cache大小加载时按需分页将不常用的层卸载CPU换显存模型并行切分如果有多张卡把不同层分到不同卡上用这些手段我在一张8GB的卡上成功跑过13B模型的INT4版本靠的是KV cache量化加上下文限制。作为参考7B INT8 2K上下文8G显存需要非常极限的优化13B INT4 2K上下文8G几乎刚好卡线。5.3 CPU推理的意外发现不追求速度时它会比预期更可靠很多人忽视CPU推理但我在几个项目里专门试过。如果你的场景是非实时的离线批量处理CPU推理的稳定性和兼容性反而比GPU更好——不挑驱动、不怕显存不够、算子支持最全。唯一代价是慢但批量处理本来就不追求单条毫秒级。用3B以下的模型Intel 12代以上CPU跑批量推理的速度可以让单条任务在几秒内完成完全可用。而且CPU推理可以完全避开“显存不够”的噩梦适合做一轮保底方案。5.4 我最后留的“黄金组合”一套不需要反复折腾的配置说实话跑了这么多精度和硬件的组合我最后留给生产环境的方案特别朴素模型规模7B-13BINT8精度配12G-24G显存的卡显存不够就开KV cache量化和上下文限制模型规模30BINT4精度配24G或以上显存输出层和归一化层做混合精度轻量模型FP16精度足够别量化所有精度调整后必须跑一套回归测试集对比量化前后指标差超过5%就换方案这套组合不能说性能最优但一定是最稳、最好复现、出问题最好查的。我自己实际用下来最大的感触是模型精度和硬件选型不是两个独立的问题而是一个组合优化问题。你手里有什么卡决定你能用什么精度你模型要什么精度反过来决定你该买什么卡。两者一起算才能避免“设备买贵了性能没用满”或者“精度压太低质量崩了”两头吃亏的尴尬。如果你现在正卡在这个选择上建议先干一件事把你模型的权重文件大小查出来结合你的显存和预计并发按上面的公式毛估一版配置再顺着这篇文章的排查思路过一遍大概率能找到答案。