做AI芯片调研的人基本都有同一种体会：名单好找，细节难抠。“30家国产AI芯片厂商调研报告”写到第二篇，我反而比写第一篇更谨慎。第一篇解决的是“市面上到底有哪些玩家”，这一篇必须回答“这些玩家到底能不能用、怎么用”。如果把官网参数抄一遍，那叫转贴，不叫调研。真正的调研是要把芯片产品、软件工具链、交付形态、真实落地情况放在同一个坐标系里比。这篇文章我会从六家最具代表性的厂商入手，讲清楚我评估国产AI芯片时看什么、踩过哪些坑，以及按什么顺序去验证一张卡是不是真的靠谱。适合正在做AI基础设施选型、大模型部署，或者想系统了解国产AI芯片生态的读者，也适合把这篇当方法论文档来参考的从业者。

1. 为什么要把30家厂商放在一起看

1.1 调研报告的定位与筛选口径

这个系列说的“30家”，不是随便从新闻稿里凑出来的名单，而是有一套相对明确的筛选口径。我定的标准有三个：必须有自研芯片且有过流片或量产记录；必须有对开发者开放的软件文档或工具链；必须有可验证的落地案例或在售产品。三条同时满足，才纳入调研池。这样做的原因很简单：AI芯片行业里“PPT选手”并不少，有人今天宣称要做大算力芯片，明天又转向边缘推理，项目能不能兑现，要看流片记录和客户案例，而不是看发布会。

按照这个标准，调研对象大致分成三类：独立的芯片设计公司，比如寒武纪、燧原、沐曦、壁仞；有系统或整机背景的厂商，比如华为昇腾、海光；以及互联网大厂旗下的芯片团队，比如百度的昆仑芯。三类公司的打法完全不同，独立设计公司往往更激进，愿意为特定客户定制；系统型厂商通常软硬一体，交付颗粒度更大；大厂芯片团队大多先服务自家业务，对外销售时会连带一套云原生工具。第二篇我重点拆解独立设计公司和系统型厂商里的六个样本，这样对比起来更有代表性。

1.2 为什么现在值得重做这份调研

最近半年，我明显感觉到选型问法变了。以前客户问的是“某家芯片算力多少、显存多大”，现在问得最多的是“我的模型能不能直接在这个卡上跑”“跑起来和GPU差多少”“算子报错谁来处理”。这三个问题背后是同一个诉求：AI芯片已经不是拿来跑benchmark的玩具，而是要放进真实业务里长期稳定运行的算力底座。大模型推理需求起来之后，大家不再只盯着单卡浮点能力，而是关心多卡互联、推理延迟、工具链完整度、甚至售后响应速度。

所以这个时间点重新梳理国产AI芯片，比两年前有价值得多。两年前很多芯片还处在“能点亮、能跑通demo”的阶段，现在多数厂商已经有真实客户，有可量产的板卡和服务器，也有了一批从实践中踩出来的问题清单。把这些真实情况整理成一份能指导选型的调研报告，是我写这个系列的核心目的。第二篇会先把评估维度讲透，再逐个拆厂商，最后给出一套可复用的验证方法。

2. 评估国产AI芯片的核心维度

2.1 有效算力比峰值算力重要

很多人评估AI芯片第一眼看算力，FP16多少TFLOPS，INT8多少TOPS，数字越大越厉害。这个习惯在国产AI芯片上特别容易踩坑，因为各家的统计口径并不一致。有的标稠密算力，有的标稀疏算力，有的标FP16的峰值，有的标BF16的峰值，还有的标TF32。不从精度和稀疏度两个维度归一化，数字之间根本没有可比性。

更关键的是，峰值算力在实际模型里几乎跑不到。判断一张卡的真实能力，要看三个东西：内存带宽、互连带宽、编译器优化能力。举一个典型场景：大模型推理的decode阶段，每生成一个token都要把模型权重从显存搬到计算单元，这个阶段是典型的内存瓶颈。假设一个模型权重有70GB，batch size是1，单次推理的计算量很小，但显存搬运量很大。这时候哪怕芯片算力再高，带宽不够，实际吞吐照样上不去。我习惯用计算访存比来估算：一个矩阵乘法的计算量是2MNK，访存量大约是MN+MK+NK，两者相除得到算术强度。算术强度高的算子，比如大矩阵乘法，吃算力；算术强度低的算子，比如逐元素操作和attention里的softmax，吃带宽。所以一份合格的调研报告，必须把训练场景和推理场景分开评估，不能一个算力数字走天下。

2.2 工具链和生态是真实护城河

算力是入场券，工具链才是分水岭。一张芯片想要真正用起来，至少要有这么几层软件：硬件驱动和运行时、算子库、编译器、调试分析工具、主流框架适配层。很多国产芯片厂商起步晚，第一代产品先把硬件做出来了，软件只提供了基础算子，跑个ResNet没问题，一到Transformer、FlashAttention这类复杂模型就抓瞎。原因是这些模型依赖大量融合算子，需要编译器做算子融合、内存规划、异步流调度，这些能力不是靠堆人短期能补上的。

我评估工具链时，会重点看四件事：第一，PyTorch适配到什么版本，官方有没有预编译wheel，能不能用conda或pip直接装；第二，算子库覆盖了多少个常用模型，尤其是Transformer家族；第三，有没有成体系的profiler工具，能不能看到每个算子的耗时和GPU利用率；第四，自定义算子是否开放，用户能不能写一个简单的kernel注册进去。这四项如果都能打高分，这张芯片才值得进入POC阶段。工具链不全的芯片，哪怕送测，也会消耗团队大量时间在“调兼容性”而不是“做业务”上。

2.3 交付形态决定落地难度

调研过程中，我还特别关注产品以什么形态交付。同样是AI芯片，有的做成PCIe板卡，可以插进现有服务器；有的做成OAM加速卡，必须用配套的整机；还有的直接交付训推一体机，开箱即用。很多选型团队忽略了这个差异，等到采购时才发现，看中的卡只能整机交付，原有IDC机房放不下，或者供电和散热不匹配，项目周期直接被拉长。

我的建议是把交付形态和业务场景绑定看。有自建集群和运维能力的团队，优先选PCIe板卡，灵活度高，可以混插；追求快速上线、不想碰底层硬件的团队，直接买整机或一体机；如果是边缘场景，比如工厂质检、园区安防，要看有没有低功耗的盒子或模组形态。互连也是交付的一部分，多卡训练必须看卡间互连带宽，能不能做Large Model并行；推理场景要关心是否支持卡间P2P通信，不能只靠PCIe总线绕一圈。这些参数在规格书里往往藏在很后面，不看细节很容易漏掉。

3. 第二篇重点厂商拆解

3.1 华为昇腾：软硬一体的大算力样板

昇腾是绕不开的样本。它不是单纯的芯片厂商，而是从芯片、服务器、网络到软件栈全栈覆盖。昇腾产品线分训练和推理两条，910系列主打训练，310系列主打推理，软件层有CANN和MindSpore，推理引擎有MindIE，同时对PyTorch也提供了适配路径。实际调研中，昇腾最突出的优势是工程化能力，大集群训练的通信优化、梯度同步、断点续训这些工作投入很大，不是所有创业公司都做得起。

我的判断是，不要把昇腾当成一张普通AI芯片来评估，要把它当成一个围绕昇腾优化过的AI计算平台。好处是软硬协同，踩坑率可能更低；代价是学习成本和迁移成本都高，团队里最好有人专门研究CANN和MindIE的优化技巧。对能力强的技术团队，这是一条值得认真做POC的路线；如果团队只想“无缝替换GPU”，那昇腾的学习曲线会比预期陡。

3.2 寒武纪：训推一体的老牌选手

寒武纪是国内最早一批做AI芯片的公司，早期做过IP授权，后来转向自研MLU系列加速卡，产品线覆盖训练、推理和边缘场景。调研寒武纪要重点看它的思元系列如何平衡训练和推理，以及Neuware软件栈对PyTorch的兼容程度。过去行业内对寒武纪的印象是“芯片参数不错，软件还在追赶”，这些年软件迭代明显加快，一些关键模型的适配已经能跟上节奏。

从落地角度看，寒武纪在互联网、金融、科研等对算力稳定性要求高的场景里有不少案例，这一点比很多新创公司更有说服力。但它同样面临生态爬坡问题，很多第三方库和开源工具还是要自己适配。我的建议是：如果团队愿意投入一段时间做软件适配，寒武纪是值得纳入候选池的；如果要求“拿到手就能跑”，必须事先确认好模型版本和算子覆盖清单。

3.3 海光信息：CPU加DCU的组合路线

海光的特殊性在于既有x86 CPU又有DCU加速卡，是国内少见的“CPU+GPGPU”双产品线厂商。DCU虽然在架构上走的是类CUDA生态路线，但并不能简单理解成和CUDA完全兼容，实际使用时还是有差异。对于已经在用海光CPU搭建服务器的客户，DCU天然有一个优势：整机平台可以统一，硬件维护和驱动管理都更省心。

调研海光时，我特别关注它的DCU在大模型训练上的表现。通用计算底子厚是它的优势，但在AI专用优化上，比如FlashAttention这类融合算子的深度优化，可能不如专为AI设计的芯片做得激进。所以海光的定位更适合那些看重整体平台稳定性、希望CPU和加速卡统一采购和运维的团队。如果在已经采购的海光服务器旁边想加一张AI加速卡，DCU的低迁移成本是一个加分项，但还是要拿自己的模型实测算力。

3.4 燧原科技：聚焦大模型训推的中坚力量

燧原算是踩准了大模型节奏的一家公司。它的云燧系列主要面向AI训练和推理，自研的邃思芯片和配套软件栈，目标是覆盖从训练到推理的全流程。这类聚焦型创业公司最大的特点是产品定义更贴近新兴需求，比如更大显存、更高带宽、为Transformer做了专门的算子优化，这些在大模型项目里都是实打实的加分项。

调研燧原时，我会更关注规模化部署能力。单卡性能只是一部分，能不能支撑几十卡甚至上百卡的集群训练，互联方案是否成熟，调度平台有没有适配，这些才是大模型客户真正关心的。燧原的技术路线是奔着规模化去的，但规模化能力和头部厂商之间还有差距。对中等规模算力需求、愿意和厂商深度协作的团队来说，燧原值得列入备选。

3.5 沐曦:用类CUDA生态降低迁移成本

沐曦是后起之秀，成立时间不长，但产品线铺得很完整，曦思面向推理，曦云面向训练，曦智聚焦图形计算，覆盖了不同算力场景。看得出团队想走一条“高算力、通用性、易迁移”的路线。实际调研中，我发现沐曦对PyTorch生态的适配态度非常积极，也强调类CUDA的开发体验，这能显著降低已有GPU代码的迁移成本。

但“降低迁移成本”和“零成本迁移”是两回事。基础算子的翻译和适配相对容易，一旦业务代码里出现自定义kernel、小众算子库或者依赖特定通信模式的逻辑，就会遇到兼容性问题。所以对沐曦这类厂商，我的调研建议是：不要只跑官方提供的benchmark，一定要在POC里复现你们的真实模型结构，最好再准备一两个自定义算子现场测试。如果这些都能跑通，它的易用性价值就真正发挥了。

3.6 壁仞科技：高算力大芯片的激进路线

壁仞从成立起就选择了大芯片路线，第一代产品就瞄准了高算力市场，试图用更大的芯片面积和更强的算力切入AI加速场景。这个思路有利有弊：好处是纸面性能足够亮眼，适合被纳入高算力项目候选；挑战在于大芯片的功耗、散热和良率控制，以及配套软件栈能不能把高算力真正释放出来。

调研壁仞时，我会把重心放在功耗和实际可用算力上。一个芯片如果峰值算力很高，但功耗过高导致必须用液冷，很多机房部署条件就不满足了。另一个重点是软件成熟度，高算力硬件如果没有成熟的并行编程模型和算子库，用户很难把纸面性能跑出六成以上。所以壁仞能不能成为主流选择，不只看下一代芯片的算力数字，还要看它把多少资源投在了软件工具链上。

3.7 一张表看清六家厂商的定位

这张表不是为了分排名，而是给不同需求的团队做初步筛选。真正做选型时，必须按你自己的模型、数据规模和部署环境，对每一项做加权打分。

4. 调研过程中容易被低估和高估的环节

4.1 被低估的编译器与算子融合

大部分调研报告会把篇幅花在硬件参数上，比如制程、HBM容量、互连带宽，但真正决定一张国产AI芯片能不能跑到80%以上利用率的关键，往往是编译器。同一个Transformer模型，在不同芯片上跑，性能差距可以拉到两倍以上，其中很大一部分来自编译器有没有做算子融合。Reshape、Transpose、MatMul这三个算子如果分开计算，每步都要把中间结果写回显存再读出来；如果能融合成一个执行流，访存量会显著下降。这就是编译器优化的价值。

我评估厂商时，会专门去翻编译器文档，看它支持哪些IR优化、能不能自动做tiling和内存复用、有没有开放自定义算子注册。更直接的办法是拿一个FlashAttention类的模型在芯片上跑profiler，看每个算子的实际耗时占比。如果大量时间花在数据搬运上，说明编译器融合做得不够好。这个环节不好量化，但对真实性能影响极大。

4.2 被高估的峰值算力和厂商benchmark

厂商提供的benchmark普遍存在三种“修饰”：第一个是选场景，挑自己芯片最容易发挥的模型；第二个是选精度，用稀疏算力替代稠密算力；第三个是选配置，用最大显存版本、最优软件版本和特定batch size跑出的结果。这些数字不是假数据，但放在你自己的业务场景里，参考价值有限。

我习惯在POC阶段先跑一套自己的微基准，用固定shape的矩阵乘法、Transformer推理、常见CNN模型做交叉验证。再用厂商提供的profiler看实际利用率，如果利用率长期低于50%，就要追问瓶颈是带宽、互连还是编译器。峰值算力只是上限，有效算力才是真实产能。这个道理在国产AI芯片里格外重要，因为各家的软件成熟度差异远大于硬件规格差异。

4.3 兼容CUDA的翻译层成本

现在不少国产芯片主打“兼容CUDA生态”，想把自己的产品包装成GPU的直接替代品。这个策略对市场是对的，但调研时一定要分辨“原生支持”和“翻译兼容”。翻译层通常能把常见算子转成芯片的原生指令，但CUDA生态不只有算子，还包括内存管理、流同步、通信库、第三方优化库等一整套运行时。你的项目如果深度依赖这些组件，翻译层遇到长尾问题时，排查成本很高。

我在和厂商交流时，一般会准备一个自定义算子，比如自研的position encoding或者特殊的attention mask处理，要求对方在POC中实际跑通。如果某个算子翻译层搞不定，厂商能提供的支持是什么？是临时改工具链，还是让你绕过这个算子？这个问题的答案，比任何“兼容xx%”的宣传都更能说明生态成熟度。

5. 常见问题与调研技巧实录

5.1 拿到规格书先看哪五个参数

规格书动辄几十页，但我会优先锁定五个参数。第一，显存带宽和容量。推理场景里带宽决定吞吐，容量决定能不能装下大模型。第二，卡间互连带宽。多卡训练能不能高效并行，全看互连方案。第三，算力的精度口径。FP16、BF16、TF32、INT8要分开看，不能只看最大数字。第四，功耗和散热规格。PCIe板卡和OAM板卡的功耗范围完全不同，直接影响效率和机房部署。第五，框架适配版本。一定确认是否支持你当前使用的PyTorch版本，以及对应wheel是否提供离线安装方式。

这五个参数是我和厂商沟通时必须逐项确认的。很多时候销售给的是一页纸的卖点，而我拿到的规格书里藏着真正影响选型的信息。把这些参数归一化之后，再去做横向对比，比看十份宣传PPT都有效。

5.2 评估工具链的五个实测动作

我把工具链评估拆成五个动作，每次做POC时都会执行一遍。

第一个动作：安装官方Docker镜像，用PyTorch跑一遍ResNet-50训练。这一步能验证框架适配和环境部署是否顺畅。如果在最基础的CNN模型上都出现报错，后续就不用谈了。

第二个动作：跑一遍Transformer模型的生成测试，记录首token时延和稳定输出吞吐。这一步看推理链路的优化水平，很多芯片跑CNN不错，一上Transformer就露馅。

第三个动作：开启profiler，导出算子耗时明细。我要看的是模型里算子的实际占比，有没有明显的访存瓶颈，以及编译器做了哪些融合。这一步是判断有效算力的关键。

第四个动作：写一个简单的自定义算子，尝试注册到官方工具链里。这一步验证开放程度。如果自定义算子完全不可行，说明芯片的软件栈不够通用，后续业务会非常被动。

第五个动作：拔掉外网，在隔离环境里重新安装SDK和依赖，确认离线可用。很多行业场景不允许在线拉包，如果工具链有在线激活或联网依赖，对部署是致命伤。

这五个动作做完，我对一张卡的判断基本就有底了。数字再好看，最终都要落到“能不能跑我自己的模型、能不能离线部署、出了问题谁负责”这三个实际问题上。

5.3 我踩过的坑和后续计划

这段时间调研下来，我有几个印象深刻的教训。一个是只看“适配PyTorch”这个宣传词，结果发现适配的只是某个旧版本，项目里用的新版本特性根本跑不了，最后花了两周才把环境对齐。另一个是把整机性能当成单卡性能，厂商给的是八卡集群的测试数据，单卡实际表现差很多。还有一个是低估了INT8量化的工作量，厂商说支持INT8，但你的模型能不能量化到INT8，量完之后精度损失多少，都需要自己评估。

这个系列我已经在整理第三批厂商了，重点会看推理专用芯片和端侧AI芯片，它们和通用大算力路线会是很不一样的逻辑。如果你最近也在做类似的国产AI芯片选型，我的建议是不要急着看下一家，先把自家模型、部署环境、团队维护能力三个条件写清楚，再拿着这套评估维度去填厂商信息。这样调研报告才能真正变成一份可以指导采购和落地的文档，而不是一堆整理过的新闻摘要。