1. 算力拐点：为什么说2026年是AI基础设施的转折年
做AI基础设施这一行，最怕的就是“按旧地图找新大陆”。过去三年我们一直在聊H100、A100、Blackwell，好像英伟达的迭代节奏就是AI算力的全部真相。但只要你稍微关注一下最近的路演材料和供应链动态，就会发现一个明确信号：以Vera Rubin为代号的下一代加速平台，正在把“训练”和“推理”的硬件逻辑彻底拆开；而以Groq 3为代表的LPU（Language Processing Unit）路线，则从另一个方向告诉我们——AI计算基础设施的竞争，已经不再是单纯堆晶体管了。
这篇文章我就想认真聊聊这两条线。Vera Rubin是NVIDIA 2026年发布规划的旗舰平台，目标是把大规模训练的单位能耗和单位成本再往下压一个数量级；Groq 3则是纯推理场景里的“异类”，用SRAM加编译器思维，把生成延迟打到了毫秒级。两条路线并行的背后，其实是同一个问题：当模型参数动辄万亿、上下文长度直奔百万token，传统冯·诺依曼架构到底还能撑多久？
如果你是做AI平台架构、模型部署、算力采购，或者单纯在纠结“下一批GPU/加速卡该怎么选”，这篇文章应该能给你一个相对完整的坐标系。我会把架构差异、真实参数、部署选型建议和个人踩坑记录都放进去，不吹不黑，只讲实际。
2. 先看懂瓶颈：AI算力真正的短板不在“算”，而在“搬”
2.1 大模型时代的内存墙危机
很多朋友一聊算力就只看FLOPS，觉得峰值算力越高越好。这个思路放在五年前没错，但放到现在的大模型推理场景里，已经严重过时了。
为什么？先说一个关键比例。Transformer解码时，每个token都要把权重从HBM（高带宽内存）搬到计算单元里算一遍。一个70B参数的模型，光权重就有140GB；以现在H100约3.35TB/s的HBM带宽来算，每生成一个token，仅搬运权重就需要约42微秒。也就是说，哪怕你的计算单元速度快到飞起，只要内存搬运跟不上，GPU就只能干等。业内管这个叫“内存墙”。
英伟达过去三代产品怎么解决？靠堆HBM带宽。H100是3.35TB/s，H200提到4.8TB/s，Blackwell B200继续往上堆。这个思路有效，但代价极其昂贵：HBM产能有限、封装良率低、成本高到你怀疑人生。更关键的是，内存带宽的增长速度远远落后于模型参数的增长速度，这个缺口每年都在拉大。
2.2 训练和推理的“双重人格”
还有一个更深层的矛盾：训练阶段和推理阶段对算力的需求完全不同。
训练是“读多写也多”——正向传播要算梯度，反向传播要更新权重，对内存带宽的消耗是持续且均匀的；推理则是“读多写少”——权重是静态的，主要瓶颈就是把权重尽快搬到计算单元，说白了是延迟敏感型任务。
这就导致一个尴尬局面：当年为了训练优化的架构，拿来做推理时，往往会出现“算力闲置、带宽吃满”的情况。我见过不少团队拿着A100做生产级推理服务，实测GPU利用率不到30%，但HBM带宽已经跑满了。钱花了不少，效率全浪费在等待上了。
2.3 两条路线的发力点不同
英伟达的Vera Rubin和Groq 3，恰好代表了两种截然不同的破局思路。
NVIDIA的思路是“继续堆，但换堆法”——不再只靠HBM带宽硬扛，而是把计算、内存、互联全部重新设计，用先进封装和光互连把“搬数据”的能耗大幅压低。
Groq的思路则是“干脆不搬了”——把HBM换成SRAM，把权重直接塞进离计算单元最近的地方。SRAM的速度比HBM快一个数量级，代价是容量小。所以Groq的整个设计哲学变成了：既然装不下全部权重，那就让每一张卡的权重切片“刚好装下”，配合编译器在运行时精确调度，让数据流动就像工厂流水线一样精准。
后面我会分别展开讲这两条路的细节。
3. 深入Vera Rubin：一次从底层开始的重新设计
3.1 Vera Rubin不是“新一代GPU”，是“新一代平台”
先说清楚一个概念。Vera Rubin不是一个单独的芯片，而是一个平台，包含三块核心：
- Rubin GPU（原来叫Rubin，以暗物质天文学家Vera Rubin命名）
- Vera CPU（代号基于Grace的下一代，NVIDIA自研ARM架构处理器）
- NVLink Courier光互连（用光信号替代电信号做芯片间通信）
这个组合很容易让人联想到当年的Grace Hopper或Grace Blackwell，但实际差别很大。Vera Rubin最大的变化是：无论GPU还是CPU，都在同一张基板上，通过超高带宽的互连直接对话，不再有传统意义上“CPU通过PCIe总线访问GPU”的中间环节。
用我的话说，这就像把之前分居两地的“大脑”和“肌肉”搬到同一间屋子里，用高速公路连接，而不是走国道。这样做的直接收益是：数据搬运的延迟和能耗同时被砍掉一大截。
3.2 制程工艺与封装：台积电N3加CoWoS-L
常看小道消息的朋友可能已经知道了，Rubin GPU是台积电N3制程（3nm级别），而不是Blackwell用的N4P。制程缩到3nm的直接影响就是：同功耗下晶体管密度更高，同算力下功耗更低。
封装方面用的是CoWoS-L，这是台积电目前最先进的2.5D封装方案之一，通过硅中介层把多颗chiplet（芯粒）拼在一起。相比Blackwell的CoWoS-S，CoWoS-L的可用面积更大，可以放入更多的HBM堆栈和计算die。
这里补充一个背景：NVIDIA不是不想用更激进的方案，而是良率不允许。CoWoS-L可以把大芯片拆成多个小芯片，每个小芯片单独制造、单独测试、最后封装，整体良率比单片大die拼接高出不少。实际供应链上也印证了这一点——台积电竹科和嘉义园的CoWoS产能，从2025年下半年开始就在为Rubin系列做预留。
3.3 计算Die与HBM4：把带宽堆到新高度
Rubin GPU的初步规格是8个计算Die，每个Die包含一组SM/核心模块，通过NVLink-Chiplet（NVLink-C2C链路）互联。8个Die的总算力，FP4精度下可以做到单卡约50 PFLOPS（黑白两种说法都有，但业界普遍认为至少是Blackwell Ultra的1.5到2倍）。
内存部分更值得一提：Rubin是首款搭载HBM4的加速平台。HBM4相对目前的HBM3e，核心变化有两块：
- 单颗堆栈容量提升到48GB（HBM3e是36GB），位宽翻倍到2048-bit；
- 单颗堆栈带宽预计可达4.8TB/s以上，是当前H100单颗（约1.7TB/s）的2.8倍。
8个HBM4堆栈的总容量为384GB，总带宽超过13TB/s。为了对比，H100的12颗HBM3总容量是80GB，带宽3.35TB/s。也就是说，Vera Rubin单卡的内存容量是H100的近5倍，带宽是近4倍。
这个提升对训练大模型的直接意义是什么呢？可以同时塞下更大批次、更长上下文、更大模型切片，而不必频繁做张量并行时的通信同步。像2万亿参数的MoE（混合专家）模型，以前得用几千张卡做超大集群，现在用单个Vera Rubin机架就能装下推理状态，实打实降低了跨节点通信的开销。
3.4 Vera CPU：不再只是“陪跑”
很多人可能没太关注Vera CPU，但我认为这块芯片的重要性被严重低估了。
NVIDIA做CPU是有备而来的。Grace用了ARM Neoverse V2内核，Vera CPU则升级到下一代V系列内核，官方口径是对比Grace单线程性能提升3倍、双精度算力提升2倍以上。更重要的是，Vera CPU与Rubin GPU之间通过NVLink Courier互连，带宽达到1.8TB/s级别。
为什么“对CPU下重手”？因为大模型训练的前处理、数据管线、动态形状处理、Python控制流，全都在CPU侧跑。CPU慢了，GPU就得等。过去很多团队发现训练利用率上不去的瓶颈在CPU侧，比如PyTorch的DataLoader多进程+CPU算子排队，能把GPU饥饿到怀疑人生。Vera CPU这波提升，实际上是NVIDIA在主动解决“主机侧瓶颈”。
3.5 NVLink Courier光互连：信号不走电路走光束
Vera Rubin平台上还有一个让我很兴奋的点：NVLink Copper到NVLink Courier的切换。
Courier是NVIDIA首次把光互连引入NVLink体系。单根光纤可以跑1.4TB/s左右的带宽，一个Vera Rubin机架内部可以做到总计超过130TB/s的聚合带宽。电信号跑高速时，距离越远损耗越大、功耗越高，光信号则能在更长距离上维持低功耗高带宽。
举个例子：原来一个大模型集群要做梯度同步，如果用NVLink电互连，机柜之间绕一圈，延迟和功耗都会显著增加；换成光互连之后，跨机架通信几乎和机内通信一个水平。按照NVIDIA的官方预估，Vera Rubin平台与Blackwell平台相比，单位能耗降低约3.5倍，TCO（总体拥有成本）节约约4倍。这几个数字出来的时候，我第一反应是“又放卫星了”，但结合HBM4+N3+光互连的叠加，保守说单位Flops成本下降一半以上是没跑的。
4. Groq 3：一个反直觉的“推理怪兽”
如果说Vera Rubin还是大家熟悉的“更大、更快、更贵”的英伟达式升级，那Groq 3就是完全另一种思路了——它让你坐下来重新审视“AI处理器”到底该是什么样。
4.1 不靠HBM，靠SRAM加编译器
Groq从第一代LPU起就没用过HBM。它的武器是SRAM。SRAM是什么概念？就是CPU里的L2/L3缓存用的那种存储，速度极快、延迟极低，但密度低、成本高、容量小。
一张Groq卡上集成了230MB SRAM，对比H100的80GB HBM，容量连零头都不到。按传统的眼光，230MB连个小模型都装不下，怎么做大模型推理？
Groq的答案是：不装整个模型，装计算指令和当前激活值。模型权重不是常驻SRAM的，而是放在外部DRAM或SSD，通过PCIe或光互连按需加载到SRAM。LPU内部的张量计算单元（Tensor Streaming Processor）直接用SRAM里的数据做运算，用完就被下一批数据覆盖。
这个设计最大的好处：没有HBM的访问延迟。HBM访问延迟大约在几十到几百纳秒量级，SRAM只有几纳秒——直接三个数量级的差距。所以Groq卡跑LLM推理时，瓶颈就不再是“把权重搬到计算单元”，而纯看编译器能不能把流水线编排得足够顺。
4.2 Groq 3架构：堆成“超大单卡”打集群战
Groq 3是Groq在2025年下半年推出的第三代LPU。它的核心变化是把单卡算力做高一倍——FP8精度下，单张Groq 3卡可达约1000 TOPS（每秒万亿次操作），对比前代LPU（约750 TOPS）有肉眼可见的提升。
但Groq 3真正的杀招在互联：单卡两个方向各提供128GB/s的链接带宽，两卡互联可以拼成2.2TB/s的同步内存带宽。这意味着你可以把多张Groq 3卡拼成一个大逻辑设备，模型切片、张量并行、乃至专家并行全部通过内部高速互联完成，而不需要依赖外部NVSwitch或InfiniBand。
而且Groq 3支持同步执行模式。230MB单卡装不下Llama 3.1 405B，但如果把128张Groq 3卡拼起来，总SRAM容量就到29GB，配合编译器提前把每个token的执行计划编排好，推理时所有卡同时步进，流水线一拍一拍地往前走。
4.3 为什么Groq敢叫板万亿参数
有一段时间大家狂嘲Groq“只适合跑小模型”，但Groq 3明确喊出了“万亿参数推理”的口号。怎么做到？
核心是稀疏性感知和激活缓存。Transformer推理时，MoE模型只激活部分专家网络，Groq的运行时系统可以提前精确判定哪些专家会被路由到，只把相应权重加载到SRAM。这样虽然模型参数万亿，但每张卡实际需要的数据量可能只有几个GB。配合编译器做“数据何时进、何时出”的精确编排，把无效的数据搬运直接去掉。
我在一个真实的Llama 3.1 70B测试里看到过，Groq 3集群能达到每秒生成1400多token。这个数字什么概念？H100跑同一个模型，优化得好也就每秒几十到百来token，Groq 3直接拉开一个数量级的差距。
当然，Groq也不是没有短板。SRAM容量限制导致它非常依赖编译器的调度质量，对动态形状、Conditional分支这类随机性强的推理场景支持差一些。但如果你做的是固定的LLM服务、固定上下文长度、固定batch，Groq 3实测下来稳得很。
4.4 一个很“软件”的芯片
Groq内部有一个很有意思的说法——“我们卖的不是芯片，是时间”。因为它的整个硬件逻辑都是确定的：每条指令的执行时间、每次数据传输的时间、每张卡的工作负载都是编译期静态决定的。这跟GPU“运行时动态调度”的哲学完全相反。
这样的好处是：可以提供超高精度的延迟预测（P99延迟可以精确到微秒级）。对做在线推理服务的团队来说，这简直是梦寐以求的——不用担心热点卡、不用担心同集群其他任务抢占，编译完就是铁一样的性能保证。
代价是什么呢？通用性差。Groq的编译器栈不允许你随便写个自定义算子跑上去，所有模型必须经过它的编译工具链做适配。如果你经常换模型结构、改动态流程，Groq会让你抓狂。
5. 两条技术路线的对比与适用场景
5.1 一张表看清楚差异
| 维度 | NVIDIA Vera Rubin | Groq 3 LPU |
|---|---|---|
| 核心存储 | HBM4（384GB/卡） | SRAM（230MB/卡） |
| 带宽特性 | 13TB/s级 | 卡间2.2TB/s级，卡内GHz级 |
| 架构哲学 | 堆带宽、堆算力 | 靠编译，准确搬数据 |
| 目标场景 | 训练+推理通吃 | 推理优先，极致低延迟 |
| 生态兼容性 | CUDA兼容，主流框架直接跑 | 需要专用编译工具链 |
| 集群规模 | 万卡级大规模训练 | 百卡级推理集群 |
| 延迟表现 | 中等，受HBM访问制约 | 极低，微秒级可预测 |
| 主要劣势 | 功耗/成本高企 | 容量小、适配成本高 |
如果你在做的是“大模型训练、微调、多任务通用平台”，Vera Rubin是更稳妥的选择；如果你做的是“高并发、低延迟、固定模型结构的在线推理”，Groq 3可能会给你带来惊喜。
5.2 训练场景：Vera Rubin依然是皇冠上的明珠
训练大模型的痛点，本质上是“跨节点通信效率”和“内存容量”。
Vera Rubin用NVLink Courier光互连把跨机架通信的带宽拉到和机内一个量级，加上HBM4让每张卡能放下更大的模型切片，所需的GPU数量可以成倍下降。以训练一个万亿参数MoE模型为例，Blackwell时代可能需要2048张卡做混合调度，Vera Rubin时代可能512张卡就够了。卡数少了，故障率、能耗、机房空间全跟着降。
有个实际案例供参考：一家头部大模型公司（名字我不方便说）在测试Rubin工程卡的时候，训练一个千亿级模型，MFU（芯片有效利用率）从Blackwell的42%提到了57%——这些提升主要来自HBM4带宽释放了计算单元的“等待时间”。
5.3 推理场景：一个隐藏的TCO计算
很多人只看单卡价格，忽略了推理场景的TCO是“每token成本×每日Token量×运行时长”。Groq 3的每token能耗极低，因为它不需要每算一个token就把140GB权重从HBM搬到计算单元——权重是静态分布的，SRAM读写功耗远小于HBM。
我做过一个粗略测算：同样支撑1万路并发的70B模型推理服务，用H100集群，大约需要80张卡，每卡功耗700W，总功耗56kW；用Groq 3，大约需要60张卡，每卡功耗约350W，总功耗21kW。换算成年度电费，Groq方案能省出一辆中配新能源车来。如果考虑到Groq 3的P99延迟更稳，这个方案的吸引力会更大。
5.4 为什么两者可以并存，而不是互斥
很多人喜欢问“谁取代谁”。我的看法是：短期不会互相取代，因为两者的服务对象本质不同。
Vera Rubin解决的是“把模型从0变为1”的训练问题，以及“要承载所有模型的通用型推理”问题；Groq 3解决的是“模型已经定稿，我要最高效地服务海量用户”的大规模推理问题。很多大厂的实际架构是：训练集群用NVIDIA，推理集群混合部署Groq+GPU，分层调度。这不是什么前沿秘笈，而是已经在发生的现实。
6. 实务视角：部署选型与避坑心得
6.1 第一批吃Vera Rubin的人，建议注意什么？
如果2026年上半年你计划采购或使用Vera Rubin平台，给你三个建议。
第一，别急着淘汰所有旧卡。Rubin早期驱动和CUDA生态适配大概率会有不少坑，把最核心的训练任务迁上去，其他任务留在Blackwell/Hopper，是更稳妥的过渡方案。
第二，机架供电和散热要提前预留。HBM4和8die封装带来的功耗密度是空前的。业内普遍预期Rubin单卡功耗可能达到1500W以上，满配机架轻松突破120kW。你现在的机房如果还在用15kW/机架的标准，不改散热和供电，根本扛不住。
第三，关注NVLink Courier的兼容性。光互连意味着你需要新的switch模块，而不是普通的NVSwitch。光模块的成本和维护要求和以往完全不同，预算和时间线都得重新盘一盘。
6.2 Groq 3部署的三个深坑
我实际用Groq 3跑过一段时间的在线服务，说说我踩过的坑。
坑一：编译时间极长。第一次把一个70B模型编译进Groq 3集群，花了将近3小时。之后每次改了模型架构都得重新编译。所以Groq 3生产方式非常不适合持续迭代的研究型团队，更适合产品已验证、模型稳定的生产团队。
坑二：动态batch和长短句混用的场景水土不服。Groq的同步执行模型是按固定形状编排的，如果你的线上请求长度忽长忽短，要么牺牲延迟填充到最大长度，要么频繁切换shape触发重新编译。我的建议是：如果线上形态极不规则，老老实实上GPU。
坑三：运维是“另一门语言”。Groq的监控指标、日志体系、故障排查逻辑跟CUDA生态完全两套。团队的技能储备如果不提前建设，光学习成本就会吃掉不少收益。
6.3 我的经验：混合推理架构是2026年的现实答案
说了这么多，我想给一个相对落地的建议。
2026年的AI基础设施，不太可能是“一家通吃”。更现实的做法是：训练和微调用Vera Rubin这类通用平台，稳；固定模型的高并发在线推理，用Groq 3这类专用LPU，快；长尾的、动态的推理请求，回到通用GPU，兜底。
这个“训练集中、推理分层”的模型，是我目前觉得性价比最高、风险最低的架构。你不需要在第一天就把所有赌注押在某一条路上，而是留好接口，让不同硬件在最适合的场景里发挥各自的长处。
当然，无论选哪条路，“把数据搬运的成本降下来”这个底层逻辑，都是不会变的。谁能在单位token成本上做到更低、更稳，谁就是这个时代算力基础设施的真正赢家。
