ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

国内AI超节点方案选型指南:31款方案的技术路线与落地实践

国内AI超节点方案选型指南:31款方案的技术路线与落地实践

1. 从"31款"这个数字说起:国内AI超节点方案的爆发逻辑

第一次看到"31款国内AI超节点方案"这个说法,我的反应是:这个数字本身就值得琢磨。不是3款、5款,而是31款——这意味着国内AI超节点这个赛道,已经从"少数玩家试水"进入了"集体卡位"的阶段。如果你最近在关注智算中心、大模型训练集群、或者国产算力基础设施的招标信息,应该能感受到这种密度:几乎每隔一两周,就有一家厂商发布自己的超节点架构或者整机柜方案。

先把概念说清楚。所谓AI超节点,本质上是一种"把算力单元、互联网络、供电散热、管理调度打包成一个高密度整体"的系统级方案。它和传统"买几台服务器插上网线"最大的区别在于:超节点强调的是节点内高带宽互联和整柜级协同。你可以把它理解成从"拼积木"升级到"造整机"——以前是各部件分开采购再组装,现在是厂商直接给你一个经过调优的、开箱即用的算力单元。

为什么这两年突然冒出这么多方案?我梳理下来有三个直接推手。第一是大模型参数规模的膨胀,单卡显存早就装不下一个像样的模型,模型并行、流水线并行成了标配,这对卡间互联带宽提出了硬性要求。第二是国产算力生态的成熟,从加速卡到交换芯片再到整机柜,链条上各个环节都有了可用的国产选项,方案商才有底气做系统级整合。第三是交付效率的倒逼,智算中心动辄上千卡的部署规模,如果还按传统方式一台台调试,工期和人力成本都扛不住,超节点这种"预制化"思路正好对上需求。

这31款方案,如果按技术路线粗分,大致能归成几类。一类是全栈自研型,从加速卡到互联协议到整机柜全部自己搞定,优势是软硬协同深度高,缺点是生态相对封闭。一类是开放集成型,基于通用的互联标准(比如以太网或PCIe体系)把不同厂商的部件攒在一起,灵活度高但调优工作量大。还有一类是整机柜交付型,重点不在单卡性能,而在于把供电、液冷、布线、管理做到"插电即用"。

提示:看超节点方案时,别只盯着单卡算力参数。真正决定实际训练效率的,往往是互联带宽、通信库优化程度、以及故障恢复机制这三样。很多方案纸面参数漂亮,一跑大规模并行就露馅。

我在实际接触这类方案时有个体会:"31款"这个数量背后,其实是31种不同的取舍。有的方案为了极致密度牺牲了可维护性,有的为了兼容性放弃了部分性能优化,有的把成本压到极低但扩展性受限。所以这篇文章不打算做简单的参数罗列,而是想把这31款方案背后的技术分野、选型逻辑、以及落地时会踩的坑讲透。不管你是要做智算中心选型的工程师,还是想了解国产算力现状的从业者,希望能从中找到对自己有用的判断依据。

2. 拆解超节点的技术骨架:互联、供电、散热三根支柱

要理解31款方案的差异,得先搞清楚超节点这个"物种"的解剖结构。我把它拆成三根支柱:互联架构、供电体系、散热方案。这三样决定了方案的性能上限、部署难度和长期运维成本。任何一款超节点方案,本质上都是在这三个维度上做权衡。

2.1 互联架构:从"能连上"到"连得快且稳"

互联是超节点的灵魂。传统服务器集群里,卡间通信走PCIe,跨机通信走以太网或InfiniBand,带宽和延迟都是"够用就行"的思路。但超节点不一样,它要求节点内几十甚至上百张加速卡之间能像一块大芯片内部那样高效通信。

目前国内方案在互联上主要走两条路。一条是基于PCIe Switch的紧耦合,把多张加速卡通过PCIe交换芯片连成一个域,优点是延迟低、编程模型简单,缺点是扩展规模受PCIe层级限制,做到几十卡还行,上百卡就吃力。另一条是基于以太网的松耦合,用高速以太网把各个计算单元连起来,扩展性好、成本相对可控,但对通信库的优化要求极高,否则带宽利用率上不去。

这里有个容易被忽略的细节:互联方案的选择会反向影响你的模型并行策略。如果你用的是紧耦合方案,张量并行(Tensor Parallelism)可以做得比较激进,因为卡间通信延迟低;但如果是松耦合,可能就得更依赖流水线并行(Pipeline Parallelism)来减少通信频次。我见过不少团队选型时只看硬件参数,结果模型跑起来发现并行策略和互联架构不匹配,效率直接打对折。

互联路线典型延迟量级扩展规模调优难度适用场景
PCIe Switch紧耦合亚微秒级数十卡较低中小规模训练、推理
高速以太网松耦合微秒级上百至上千卡较高大规模训练集群
私有互联协议亚微秒级视协议而定高(需专用生态)全栈自研方案

2.2 供电体系:被低估的"隐形瓶颈"

很多人聊超节点只聊算力和互联,但真正做过整柜部署的人都知道,供电才是最容易被低估的瓶颈。一张高端加速卡的功耗动辄几百瓦,一个满配机柜轻松上到几十千瓦。传统机柜的供电能力根本扛不住,这就逼着方案商重新设计供电体系。

目前主流做法是集中供电+母线排。把交流转直流的过程从每台服务器内部挪到机柜级别,用统一的电源模块给整个机柜供电,再通过母线排分配到各个计算单元。这样做的好处是效率高、布线简洁,坏处是一旦电源模块出问题,影响面是整个机柜而不是单台设备。

还有个趋势是高压直流供电。相比传统的12V或48V,把电压提上去能降低电流,从而减少线损和发热。但高压直流对连接器、保护电路的要求更高,这也是为什么不同方案在供电上的差异,往往体现在这些"看不见"的工程细节里。

注意:评估供电方案时,一定要问清楚"满载功耗下的实际供电余量"和"电源模块的冗余配置"。有些方案标称支持某个功耗,但那是理论峰值,实际持续运行时余量很小,一旦遇到功耗波动就容易触发保护。

2.3 散热方案:风冷、液冷与"混合过渡"

散热是超节点密度提升的直接约束。当单柜功耗从几kW涨到几十kW,传统风冷就力不从心了。所以这31款方案里,液冷已经成了主流选项,区别只在于用哪种液冷。

冷板式液冷是目前落地最多的方案。把冷板贴在加速卡和CPU这些主要热源上,通过循环冷却液带走热量。它的优势是改造成本相对低、对现有数据中心基础设施兼容性好。缺点是只能覆盖主要发热部件,内存、电源这些"次要热源"还得靠风冷辅助,所以机柜里往往还是得留风扇。

浸没式液冷则是把整个计算单元泡在绝缘冷却液里,散热效率最高、噪音最低,但对冷却液、密封、维护流程的要求都高得多。目前国内真正大规模商用的浸没式超节点方案还不多,更多是在特定场景试点。

我个人的观察是,未来两三年冷板式液冷会是绝对主力,浸没式会在超高密度场景逐步渗透。选型时别盲目追新,要看你的机房基础设施能不能配套——液冷不是买个机柜就完事,冷量分配单元(CDU)、管路、漏液检测这些都得跟上。

3. 31款方案的技术分野:四条路线与各自的取舍

把31款方案摊开来看,虽然细节各异,但技术路线大致能归成四条。理解这四条路线的取舍逻辑,比记住具体型号有用得多。

3.1 全栈自研路线:深度优化与生态封闭的硬币两面

走这条路的方案商,从加速卡架构到互联协议到整机柜设计全部自己掌控。典型特征是软硬协同深度极高——因为互联协议是自己定的,通信库可以针对硬件特性做极致优化,实际训练效率往往比"通用部件拼装"的方案高出一截。

但代价也很明显。生态封闭意味着你的模型代码、算子库、甚至训练框架都得适配这套体系。迁移成本高,人才储备也难找。而且一旦方案商的路线发生调整,前期投入可能打水漂。我见过一些团队被"极致性能"吸引选了全栈方案,结果发现社区生态跟不上,遇到问题只能等原厂支持,排障周期长得让人抓狂。

这条路线适合有长期稳定需求、且技术团队有能力深度绑定某一生态的用户。如果你只是短期项目或者需要频繁切换技术栈,全栈自研方案反而可能成为负担。

3.2 开放集成路线:灵活性的代价是调优工作量

另一大类方案走的是开放集成路线。加速卡可能来自A厂商,交换芯片来自B厂商,整机柜设计由C厂商完成,互联基于通用的以太网或PCIe标准。这种方案的最大好处是灵活——你可以根据预算和需求自由组合部件,也更容易跟上技术迭代。

但灵活性是有代价的。不同厂商部件之间的兼容性和调优,工作量巨大。通信库要针对具体的卡和网络拓扑做适配,散热和供电要重新计算匹配,故障排查时还得协调多个供应商。我接触过一个开放集成项目,光是让通信库在混合拓扑下跑出标称带宽的80%,就花了团队两个月。

这条路线适合技术实力强、愿意投入调优资源、且需要保持技术选择自由度的用户。如果你团队里没有懂底层通信和系统调优的人,选这条路会比较痛苦。

3.3 整机柜交付路线:把复杂度留给厂商

第三类方案的重点不在单卡性能,而在于交付形态。厂商把计算、网络、供电、散热、管理全部集成到一个机柜里,用户拿到手基本是"插电、通网、上管理平台"就能用。这种方案对运维团队最友好,部署周期最短。

代价是定制空间小、单价偏高。你很难对机柜内部配置做大幅调整,而且一旦厂商的供应链出问题,替换部件也麻烦。另外,整机柜方案的"开箱即用"往往有前提——你的机房得满足它的供电、承重、制冷接口要求,否则还是得改造。

3.4 混合过渡路线:现实中的折中选择

实际上,很多方案并不是纯粹走某一条路线,而是混合过渡。比如用自研的加速卡搭配开放的以太网互联,或者用整机柜形态但内部保留部分可替换部件。这种"半开放"思路在当下特别常见,因为它试图在性能、灵活性和交付效率之间找平衡。

我的判断是,未来一两年混合路线会成为主流。纯自研生态太封闭,纯开放调优太累,整机柜又太死板,混合路线正好卡在中间。但这也意味着选型时不能简单贴标签,得具体看它在每个维度上到底开放到什么程度。

4. 选型实操:怎么从31款里挑出适合你的那一款

聊完技术路线,落到实操层面。面对31款方案,怎么系统性地做筛选?我总结了一套自己的评估框架,分四步走。

4.1 第一步:先明确你的真实负载特征

选型最容易犯的错,是拿着厂商的参数表做对比,却忘了自己的实际负载长什么样。训练和推理对超节点的要求完全不同:训练看重互联带宽和通信效率,推理看重单卡性价比和弹性扩展;大模型和小模型对显存和并行的需求也不一样。

所以在看任何方案之前,先回答几个问题:你的模型规模多大?是训练为主还是推理为主?并行策略打算怎么设计?峰值负载和平均负载差多少?这些问题的答案,直接决定了你该优先关注互联、算力还是成本。

我见过一个团队,明明主要跑推理,却被销售说服买了主打训练互联的高端方案,结果推理场景下那些高带宽互联根本用不上,白白多花了预算。负载特征不明确,再好的方案也是错配。

4.2 第二步:用"三张表"做横向对比

明确负载后,我建议用三张表来横向对比方案。第一张是性能表,列单卡算力、互联带宽、实测训练吞吐(注意要实测数据,不是理论峰值)。第二张是成本表,不光看采购价,还要算上机房改造成本、电力成本、运维人力成本。第三张是风险表,评估生态成熟度、供应商稳定性、故障恢复能力、以及技术路线的可持续性。

这三张表里,风险表最容易被忽略,但往往最关键。一个方案性能再好、价格再低,如果供应商明年可能转型、或者生态里找不到足够的开发者,长期看就是坑。我在评估时会特别关注:这个方案有没有实际的大规模部署案例?社区活跃度如何?遇到问题时的支持响应速度怎么样?

评估维度关键指标数据来源建议权重参考
性能实测训练吞吐、互联带宽利用率要求厂商提供第三方实测报告30%
成本三年总拥有成本(含电力、运维)自行测算,别信厂商估算30%
风险生态成熟度、案例数量、支持能力走访现有用户40%

4.3 第三步:小规模实测,别信纸面参数

这一步是我最想强调的。任何方案,在你自己没跑过之前,参数都只是参考。我强烈建议在最终决策前,争取一个小规模实测的机会——哪怕只是几卡的验证环境,也能暴露出很多纸面上看不到的问题。

实测时重点看几样:通信库在真实拓扑下的带宽利用率、长时间高负载运行的稳定性、故障注入后的恢复时间、以及管理平台的实际易用性。我印象很深的一次,某方案标称互联带宽很高,实测发现只有在特定拓扑和特定通信模式下才能达到,换个并行策略就掉到一半。这种信息,只有自己跑才能拿到。

提示:实测时一定要模拟"最坏情况"——比如部分节点故障、网络拥塞、功耗波动。超节点在理想状态下的表现都差不多,真正拉开差距的是异常情况下的鲁棒性。

4.4 第四步:把运维和扩展成本算进总账

最后一步,把眼光放长。超节点不是买回来就完事的,它要在你的机房里跑三到五年。这期间的电力成本、散热成本、运维人力、备件库存、以及未来扩展的兼容性,都得算进总账。

我见过太多案例,采购时省了钱,结果因为散热方案效率低,三年电费多花出一套设备的钱;或者因为扩展性差,第二年想加卡发现得整个机柜换掉。总拥有成本(TCO)才是决策的最终依据,采购价只是冰山一角。

5. 落地踩坑实录:那些方案文档里不会写的事

方案文档总是把一切描述得很美好,但真正落地时,坑一个接一个。我把自己和同行踩过的坑整理出来,希望能帮你少走弯路。

5.1 互联带宽的"标称值陷阱"

第一个大坑是互联带宽。几乎所有方案都会标一个漂亮的带宽数字,但那个数字通常是理论峰值,实际能跑到多少,取决于你的通信模式、拓扑结构、以及通信库的优化程度。

我遇到过一个典型案例:方案标称卡间带宽很高,但实际跑All-Reduce(一种常见的集合通信操作)时,带宽利用率只有标称的40%。原因是通信库对这个特定操作的优化不到位,而All-Reduce恰恰是大模型训练里最频繁的通信模式。后来厂商出了个补丁,利用率提到70%,但离标称还是差得远。

避坑方法:实测时一定要跑你自己的真实通信模式,别用厂商提供的Demo。如果可能,要求厂商提供针对你负载的优化承诺,并写进合同。

5.2 液冷系统的"隐性运维成本"

液冷是超节点的标配,但液冷系统的运维复杂度,远超很多团队的预期。冷却液的定期检测和更换、管路的漏液监测、CDU的维护、以及漏液后的应急处理流程,这些都需要专门的运维能力和预案。

我见过一个团队,机房上了液冷超节点,但运维人员没有液冷经验,结果一次小小的管路接头渗漏没及时发现,导致整个机柜停机检修。液冷不是装上就完事,它需要一套完整的运维体系。选型时一定要问清楚:厂商提供哪些运维培训?漏液检测的灵敏度如何?备件供应周期多长?

5.3 管理平台的"最后一公里"问题

超节点方案通常都配一个管理平台,号称能统一监控、调度、告警。但实际用起来,很多平台在"最后一公里"上掉链子——监控数据有延迟、告警规则不灵活、和现有运维系统对接困难。

我的经验是,管理平台的易用性要在实测阶段重点验证。让实际运维人员去操作,看他们能不能快速上手、能不能自定义告警、能不能和现有的监控体系集成。别等到部署完了才发现平台不好用,那时候换成本太高。

5.4 扩展性承诺的"文字游戏"

很多方案在宣传时会强调"支持平滑扩展",但"平滑"的定义很模糊。是加卡就能用,还是需要重新配置网络?是线性扩展,还是到某个规模就遇到瓶颈?

我建议在选型时,把扩展性承诺具体化:从当前规模扩展到目标规模,需要做哪些操作?停机时间多长?性能衰减多少?这些问题的答案,往往能揭示方案的真实扩展能力。有些方案在小规模下表现优秀,一到大规模就暴露互联瓶颈,这种信息只有追问细节才能拿到。

6. 从31款到1款:我的选型决策心得

聊了这么多技术细节和踩坑经验,最后说说我自己的决策心得。面对31款方案,怎么收敛到那一个最适合的?

我的核心原则是:没有最好的方案,只有最匹配的方案。全栈自研不一定比开放集成好,整机柜不一定比自组装差,关键看你的团队能力、负载特征、预算约束和长期规划。

具体操作上,我会先做排除法。把明显不匹配的方案先筛掉——比如生态太封闭而团队没有绑定意愿的、或者扩展性达不到未来需求的、或者供应商稳定性存疑的。31款筛完,可能就剩五六款值得深入评估。

然后做加权打分。用前面说的三张表,给每款方案在性能、成本、风险三个维度打分,权重根据你的实际情况调整。如果团队运维能力强,风险权重可以低一点;如果预算紧张,成本权重就高一点。打分不是为了得出一个"客观最优解",而是为了把你的偏好和约束显性化,避免被销售话术带偏。

最后是实测验证。打分最高的那一两款,一定要争取实测机会。实测不是为了验证它"能不能用",而是为了发现"哪里不好用"。任何方案都有短板,关键是这些短板你能不能接受、有没有办法绕过。

我个人在实际操作中的体会是:选型决策里,最贵的往往不是设备本身,而是选错之后的迁移成本。所以宁可前期多花时间评估和实测,也别为了赶工期仓促决定。超节点是要陪你跑三五年的基础设施,值得慎重。

另外分享一个小技巧:多和已经部署了同类方案的同行聊聊。厂商的案例分享总是挑好的说,但同行会告诉你真实的运维体验、遇到过的问题、以及厂商的支持响应速度。这些一手信息,比任何参数表都有价值。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进