ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

AI-native芯片设计真正稀缺的不是验证,而是这三项关键能力

AI-native芯片设计真正稀缺的不是验证,而是这三项关键能力

最近我读到一份头部互联网企业公开分享的AI-native芯片设计研究报告,里面的核心观点很集中:AI芯片设计中最稀缺的能力是端到端协同验证。理由是验证占掉芯片研发周期一半以上的时间,面对AI场景里不断变化的算子、数据流和模型结构,传统验证方法论根本追不上迭代速度,所以谁能把验证做得又快又稳,谁就掌握先机。

看完之后,我第一反应是不太认同。验证重要吗?当然重要,任何一个从芯片流片回来的工程师都会告诉你,验证不足带来的代价是整个项目延期甚至报废。但“重要”和“最稀缺”之间还隔着一层——如果团队连“该做什么”都想不清楚,验证做得再强,也只是在错误的方向上跑得更快而已。真正让AI-native芯片项目陷入泥潭的,往往不是验证能力不足,而是另外几个被行业大量低估的问题。这篇文章我不会去复述报告里那些大家都能搜到的结论,而是把这三处我不太认同的地方,以及我自己在项目中踩过坑之后的思考拆开说清楚。

1. AI-native芯片设计,到底在讨论什么

1.1 先澄清一个概念:AI-native不是“能跑AI的芯片”

现在很多团队会把“能跑大模型”等同于AI-native,这是最容易产生的误会。传统gpu或者通用处理器也能跑AI,但它们是“兼容”AI,不是“原生”AI。AI-native的含义,是指从架构定义第一天起,就把AI计算的特征当成第一公民对待:张量运算的排列方式、稀疏度的利用、数据在片上如何流动、算子融合的粒度、编程模型怎么跟硬件寄存器匹配,这些全部围绕实际AI负载来设计。

打个比方,传统芯片像一张万能写字桌,什么工作都能做,但做每种事都要把工具拿出来、收进去;AI-native芯片更像一条为特定工件定制好的流水线,工位顺序、传送带速度、工具摆放都是为这类工件设计的。流水线第一次搭建成本高,但一旦明确工件形状,吞吐和稳定性远超通用方案。问题在于,AI模型的“工件形状”变化太快了,这才是AI-native芯片设计真正尴尬的地方。

1.2 研究报告的核心主张:验证能力是最高瓶颈

那份报告把难题归到了验证端。我理解它的逻辑:AI芯片的复杂度已经从“几百个模块互联”变成“多个异构计算核、可重构数据流、深度定制的片上网络、复杂的调度器”,这些单元组合在一起,状态空间巨大,算法侧的动态shape、稀疏pattern、低精度量化策略又不断变化,验证的覆盖要求和仿真成本成倍上涨。所以报告提出一个结论:谁能用更短的时间完成更高置信度的验证,谁就能在AI芯片竞争里领先。

单看这条逻辑链,每一步都成立,但最后的结论我接受不了。验证是卡点,但它是一个“可以被工程方法解决”的卡点,比如引入形式化验证、硬件仿真加速、随机约束增强、覆盖导向生成这类工具链,这些问题本质上是在已有方法论上做加强。而AI-native芯片项目里真正稀缺的,是那些“没有人告诉你怎么做、也没有现成工具链帮你兜底”的判断类和翻译类工作。这些才是决定项目能不能从“想做”变成“值得做”的关键。下面我把三点不同看法逐一展开。

2. 我的三点不同看法:真正稀缺的能力被低估在哪里

2.1 不同看法之一:稀缺的是需求拆解与算法趋势预判力

先说我最想强调的一点:AI-native芯片的架构定义阶段,最稀缺的不是验证工程师,而是有能力回答“三五年之后,这套硬件要面对什么算法”的人。AI领域有个显著规律——某一类算子今天看起来是铁打的刚需,一个关键论文出来,第二天就被替代了。验证能力解决的是“针对已知需求,确保硬件实现正确”,但它无法回答“这个需求本身选择得对不对”。

我在参与某AI推理加速芯片项目时,团队花了大量时间验证固定尺寸的矩阵乘单元、特定归一化算子的硬件实现,流片回来拿到手,模型侧却已经转向稀疏化表达和动态形状推理。硬件功能全部正确,但形态跟不上算法演进,于是指标很好看、落地很难受。事后复盘,我们发现最缺的不是验证手段,而是一个能够持续跟踪算法研究趋势、把“Transformer变体”“注意力机制优化”“稀疏化策略”这些变化转译成架构参数限制的人。

这种能力为什么稀缺?因为芯片行业和AI行业的话语体系基本不重叠。芯片工程师擅长讨论面积、功耗、时序;算法工程师擅长讨论精度、收敛、泛化。中间缺一个能够跨着两个领域做“架构取舍”的人——他要知道当模型的序列长度从512涨到4096时,片上存储结构最多还能扛几个batch;知道稀疏度达到多少时,专用稀疏单元才比通用矩阵单元划算;更要对算法方向的未来演变有直觉判断,敢于在不确定性里拍板。这份能力,没法靠验证工具弥补。

2.2 不同看法之二:稀缺的是“业务语言”到“硬件指标”的翻译能力

第二个不同看法,很多人可能觉得太“软”,但我认为是芯片项目立项之后第一个真实瓶颈:把业务目标准确翻译成硬件需求的中间层能力。一份设计方案里写着“支持10B参数大模型推理,延迟低于xx毫秒”,听起来清楚,实际上经不起追问——这个延迟是首个token的延迟,还是每个token的稳定延迟?batch size按多大算?模型是稠密还是稀疏?采用怎样的量化位宽?如果业务目标是“广告点击率相对提升2%”,这2%对应的模型规模、推理吞吐、部署成本变化是什么?

缺少这种翻译能力,项目就会反复出现两个极端:要么架构师基于凭空估值拍板,做出来的芯片供需不匹配;要么业务侧只觉得“芯片听起来高大上”,一旦发现优化成本投入巨大,立刻开始犹豫。最典型的例子是我见过的一个内部NPU项目,立项时听说“AI推理市场很大”,于是定了超大算力指标,结果业务侧真正需要的只是低功耗端侧推理。算力做上去了,功耗完全压不住,最终整个项目只能束之高阁。

我后来习惯做一张“业务收益翻译表”,每次选型前至少填满几个关键列:模型指标变化带来的业务收益(比如准确率提升对应的收入或成本变化)、当前硬件实现该指标的代价(增加多少算力、多少带宽、多少功耗)、以及每提升一个单位业务指标所需的边际硬件成本。这张表看上去简单,但它逼着每个角色把话说具体,不再用“需要更强的算力”这种正确但无用的话开会。能让这张表成立的人,就是稀缺的翻译者。

2.3 不同看法之三:稀缺的是软硬件一体化的持续工程能力

再有一个容易在“AI-native”光环下被忽略的能力:软件栈和硬件之间持续集成的工程机制。报告谈验证,主要谈的是硬件电路层面的正确性,但据我观察,大部分AI芯片项目真正交付困难,恰恰发生在硬件交付之后——编译器跟不上、运行时状态管理不完善、算子库覆盖不足、驱动接口切换一个参数就翻车,芯片本身没问题,可上层用不起来。

AI-native对“软硬件一体”的要求远高于传统芯片。因为传统芯片的软件接口几十年相对稳定,上层软件按标准来适配;而AI芯片面对的是一套不断变化的算子集合和模型结构,硬件要暴露哪些可配置接口、编译器在什么层级插入优化、运行时如何管理内存分配和算子调度,这些必须在架构定义阶段就一起设计,而不是流片后再让软件团队“救火”。

我见过最崩溃的现场是:芯片仿真全部通过,demo演示也很顺利,但等到业务模型接入时,模型用的某个新算子没有对应的底层实现,编译器需要临时生成代码,性能直接掉了35%。问题不在单体功能,而在于“软件升级”和“硬件抽象层更新”没有建立持续集成机制——硬件团队交付完RTL后,软件团队才第一次看到寄存器手册,中间没人在维护那个“接口层”。这个空缺,恰恰是AI-native项目里最常出现的“隐形市场失灵”。

3. 实操中的关键细节:怎么补上这些“真正稀缺”的能力

3.1 需求拆解如何落地:建立“算法演进台账”

先给结论:需求拆解能力不像验证能力,不是一个“岗位”,而是一套持续运行的信息机制。我自己常用的方式是建立一份“算法演进台账”,每季度更新一次,记录当前在跑的所有主要模型的版本信息、核心算子类型、动态shape范围、精度量化方案、允许的端到端延迟分布。目的是让架构团队在任何讨论里都能拿出事实,而不是凭印象。

这份台账里最关键的一列是“算子生命周期预测”。比如我记录某个最新模型核心attention实现从版本A换到版本B时,硬件结构(头数、维度、序列长度变化)如何影响计算密度。再把这些变化映射到硬件的若干个关键参数上:矩阵单元位宽、片上内存容量的峰值需求、数据通路的最大并发度。如果趋势预测显示未来半年内稀疏化会大面积铺开,而当前硬件是稠密计算结构优先,那就要在架构评审时设置一个“稀疏扩展接口”,而不是等模型变化后再推翻重来。

这套机制很朴素,难在坚持和让算法团队愿意共享信息。我的经验是,别做成“要求算法团队填表”,而是做成每个季度一次的“架构与算法联合走查”,算法团队讲模型变化,架构团队讲硬件约束,台账由架构团队负责更新,并主动反馈“哪些约束会影响模型开发”,这样算法团队才会觉得是在帮自己,而不是被审查。

3.2 “翻译能力”的落地工具:业务收益翻译表

我在前面提到过业务收益翻译表,这里把它展开说。表格不必复杂,通常有六列就够了:

业务指标模型层变化硬件层代价单位收益折算排序决策结论
推荐场景转化率模型参数量从1B提升至3B,精度+1%推理延迟增加80%,内存占用增加2倍转化率+1%对应每日收益增加xx,硬件采购增加xx1投入产出比倒挂,不做
语音识别实时率端到端模型替换为流式方案峰值算力需求降低40%,延迟降低60%实时体验升级可保留付费用户3%2值得投入,优先做工程化
图像检测成本压缩量化精度从FP16降到INT8带宽和功耗下降50%,精度损失可接受单次推断成本降低一半3方向明确,需验证稀疏支持

注意最后那列“决策结论”,表面上看起来是业务和算法的事,但实际必须由芯片架构师参与拍板。因为硬件团队最知道某种“模型层变化”背后究竟要付出多少面积、多少功耗、多少验证时间。这张表的价值不只是做选择题,而是逼着每个人把“大概感受”变成“数字假设”,并且允许后续用真实数据去打断错误的假设。

3.3 软硬件一体化的工程机制:从“接口资产”做起

持续集成说起来很虚,落地时我建议先抓一个最容易被忽略的东西:硬件抽象层的“接口资产”。所谓接口资产,就是芯片内部所有可配置寄存器、算子的调用约定、运行时所需的内存描述结构,这些要像代码一样进行版本管理。不要寄希望于“留好寄存器,之后软件自己来读手册”,而是要把接口当合同管理——每一次变更都要走评审,都要配套编译器侧、运行时侧、算子库侧的同时更新。

我在项目里推过一个相对轻量的约定:硬件团队在交付RTL的同时,必须交一份“接口约束文件”,里面用结构化方式列出每个硬件单元支持的数据类型、shape范围、依赖关系。软件团队拿这份文件自动生成一部分编译器的低层定义和runtime的配置代码。这个做法特别土,但效果很实在,它把两边“自己猜”变成了“对着同一份文件对齐”。之后再遇到新算子需求,至少能快速判断是硬件支持、编译器配置能解决,还是必须改RTL重新走流程。

4. 如果完全照着报告的验证思路走,最大的坑在哪

4.1 验证资源膨胀但需求仍然错位

回到那份报告,如果团队真的把“验证能力”作为唯一最高优先级,我担心会出现一个很典型的结果:验证团队预算不断翻倍,环境越搭越完善,覆盖率越做越高,但顶层需求从一开始就偏了——该支持的算法演进方向没支持,不该投入的算力规格拼命堆,最后验证再多也无法挽救“方案本身错了”的现实。

反而,把一部分资源前置到需求拆解和业务翻译上,看起来投入产出不直接,但能显著减少“范围错误”。所以我给团队的建议是,验证的投入当然要保证,但项目启动前三个月的重点应该是“定义问题”而不是“加速验证”。如果一个问题本身定义错了,验证进度快慢没有意义。

4.2 常见问题速查表:验证导向思路下的典型风险
问题表现根源纠偏动作
项目不断验证但算法侧频繁改需求,方案反复推翻缺少需求拆解机制,没人做趋势预判建立算法演进台账,设季度联合走查,锁定架构基线
业务侧觉得芯片投入大,迟迟不立项缺少业务收益翻译,技术指标没法折算业务价值表格化收益与代价,用数据支撑立项判断
流片回来性能没问题但模型跑不起来软件接口和硬件设计脱节,编译器、runtime跟进滞后把硬件接口当版本资产,软硬件同步交付
验证环境搭建耗时越来越长缺少覆盖导向和随机约束,沿用老方法硬试引入覆盖率驱动的验证思路,聚焦高风险模块
模型算子一换,硬件加速效果立刻失效架构定义时没考虑算法演进弹性,做成了过刚性在架构中预留可配置宏单元,支持多精度/动态形状
4.3 一个容易忽略的真相:工具链能买,判断力买不来

可能有人会说,验证能力稀缺,恰恰因为工具链市场上没有现成的AI芯片验证解决方案。这句话有道理,但我更愿意换个角度:验证工具链至少有明确的“正确性标准”,而需求拆解和业务翻译,连标准都没有,更不存在可以购买的工具。后者更难复制,也更依赖人的经验和判断。如果非要说“真正稀缺”,我更愿意把它定义成一种“必须依赖资深工程师综合判断,且无法通过单纯加大投入快速补足”的能力。这点并不是想贬低验证团队,而是希望项目负责人在配置资源时,不要被一份看起来很硬的报告带偏了方向。

5. 给管理者的组织建议:如何把稀缺能力沉淀到团队里

5.1 不要只招“验证专家”,也要留“架构翻译官”

组织建设上,我的建议是在硬件团队里专门设置一个“架构翻译官”角色,归属可以放在架构组,但日常工作要和算法、业务、软件团队深度绑定。这个人最好同时具备三方面背景:读过体系结构,写过编译器或跑过模型训练,并且愿意花时间理解业务指标的底层逻辑。这种人在市面不容易找,但与其花重金去挖一个有无限光环的验证专家,我更倾向于从内部轮岗:让资深硬件工程师去算法组待半年,或者让算法工程师到芯片组参与架构评估,效果往往比外部招聘好。

5.2 落到机制上:建立“需求变更评审”与“设计后评估”

最后提一个低成本、高收益的机制,就是建立“需求变更评审”和“设计后评估”两件事。需求变更评审用于应对算法演进带来的新需求,任何新增算子、shape变化、精度调整都要走一个轻量流程,判断是否触碰当前架构的约束边界;设计后评估则是每个里程碑结束后,把选型假设和真实数据对照复盘,比如“当初判断稀疏化不重要”,现在真实项目里稀疏度占比是多少?这类复盘的价值不在于追责,而是让团队的判断能力有迭代路径。

我见过很多团队犯同一个毛病:项目结束就散伙,所有踩过的坑和拍过的板全凭记忆,等到下一个项目重新踩一遍。AI-native芯片设计本身新东西已经够多,如果组织连最基本的沉淀机制都没有,那再优秀的人也留不下什么长期资产。把判断过程、假设条件和最终结果记录下来,远比多写几份验证报告更能沉淀出团队的稀缺能力。

6. 最后分享一点我个人最深的体会

做了几个和AI加速器相关的项目之后,我最大的变化是越来越不相信“某个单点能力是最稀缺的”这种结论。验证、EDA工具、封装工艺、编译器,这些东西都重要,但往往都可以通过资源投入解决。真正让项目死得悄无声息的,常常是那些没人负责的“缝隙地带”——算法趋势没人预判,业务收益没人翻译,软硬件接口没人维护。这些缝隙能力见效慢、不性感、不容易在招聘JD里写清楚,所以也最容易被团队忽视。

如果你现在正准备启动一个AI-native芯片相关项目,我的建议很简单:开工之前,先把“算法演进台账”更新到最新,把“业务收益翻译表”填完,让软硬件接口的版本管理机制先跑起来。这三件事实测下来从来不会白做,它们不直接产生电路图,但会帮你把后面几百个工程师的投入方向校准得更准。方向对了,验证能力才有意义的放大之处;方向错了,越是拼命验证,越是加速走向一个不值得抵达的终点。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进