这两年我最大的感受是，“大模型”在智能驾驶圈子里已经不再是一个宣传词，而是实打实的技术底座。身边做感知的同事在研究BEV和占用网络，做规控的开始讨论端到端和VLA，做数据的整天琢磨怎么用生成式AI造场景——整条技术链路的工作方式都在被重写。这篇文章想聊的，不是某个模型在榜单上刷了多少分，而是大模型到底改写了智能驾驶的哪些环节、这些改动背后的逻辑是什么、以及量产落地时那些论文里不会写的问题。无论你是刚入行的算法工程师，还是正在做技术选型的管理者，这篇梳理应该能帮你建立起一张相对完整的作战地图。

1. 为什么说这是一次“全链路”革新，而不是某个环节的升级

1.1 传统智驾链路的结构性瓶颈

传统智驾系统的架构大家都很熟悉：感知负责检测、分割、跟踪，预测模块负责推测其他交通参与者的意图，规划模块综合所有信息生成轨迹，最后交给控制执行。这个“分模块级联”的架构在过去十几年是成立的，因为它让每个模块都能独立开发、独立验证，出了问题也好定位。但走到今天，它积累了三个非常明显的结构性瓶颈，而且这三个瓶颈不是靠某个模块内部优化能解决的。

第一个瓶颈是误差逐级放大。感知模块漏检了一个远处的三轮车，预测模块就拿不到这个输入，规划模块以为前方一片空旷，于是保持车速继续往前开，等系统真正发现异常时已经只能急刹了。每一个模块单独看都“还行”，但串起来之后体验就很差。第二个瓶颈是长尾场景靠人肉堆规则。每修一个corner case就加一条规则，规则之间还会互相打架。最典型的是拥堵路口的加塞场景：一条规则说“保持安全车距”，另一条规则说“防止旁车加塞”，两条规则在车流密集时反复冲突，调参的人最崩溃。第三个瓶颈是信息损耗。检测框、车道线这类中间表征把原始传感器信息压缩得只剩骨架，路面纹理、对方车辆转向灯这种弱信号根本进不到规划端，而这些信息恰恰是很多复杂场景里决策的关键。

1.2 大模型带来的三个范式变化

大模型之所以叫“革新”而不是“升级”，是因为它同时改变了三个底层范式。

第一个变化是从“小模型加规则”变成“大模型加数据”。过去特征表达靠手工设计，一个检测器要精心调anchor、调NMS阈值；现在视觉基础模型直接从海量数据里学通用表征，语义理解和几何理解放在同一个网络里，下游任务只需要微调。

第二个变化是从“级联优化”变成“联合优化”。感知、预测、规划可以放进同一个网络里反向传播，损失函数直接对准最终驾驶目标。这个变化的意义不只是少几个模块接口，而是让系统真正有机会学到“为了安全绕行，感知应该更关注什么”这类跨环节的能力。

第三个变化是从“人工定义场景”变成“模型生成场景”。数据闭环从被动等待corner case，变成主动用生成式AI制造corner case，这个问题后面我会专门展开。

这三个变化是互相咬合的：感知没有统一表征，端到端就没有可微的条件；数据引擎没有生成能力，端到端就喂不饱。所以观察智驾技术栈，必须站在全链路的角度看，单看任何一个环节都会误判。

2. 感知链路：从“后处理拼装”到“BEV+占用网络”的统一表征

2.1 BEV+Transformer如何解决多相机融合的老问题

传统多相机3D检测的痛点，做过量产的朋友一定深有体会。每个相机独立检测，再在后处理阶段做融合和跟踪，同一个目标经常被两个相机同时检出，要靠NMS抑制；单目测距本质上是“猜深度”，误差随距离非线性放大；车辆跨相机切换时跟踪ID很容易断，目标轨迹一跳一跳的。

BEV+Transformer的思路是从根本上换了一种问题定义：所有相机的图像特征先分别提取出来，然后统一投射到车身坐标系下的鸟瞰图网格上。每个BEV网格单元作为一个query，通过cross-attention去各相机的图像特征里“查找”这个位置到底有什么。空间几何关系由注意力机制自动学习，不再依赖精确的外参标定和后处理对齐。时间维度也能融合——上一帧的BEV特征做空间变换后与当前帧融合，相当于模型自带短期记忆，这对遮挡目标的连续感知帮助很大。

用个生活化的类比：以前是多路摄像头各写各的“目击报告”，最后拿报告拼现场图；现在所有摄像头共同维护一个“沙盘”，大家把看到的东西直接摆到沙盘上。因为大家都基于同一个坐标系交流，拼错、重复这种问题天然就少。

2.2 占用网络：模型开始理解“空间”而不仅是“物体”

检测框有一个天然缺陷——它假设世界是由“可枚举的物体类别”组成的。但真实路面上海量障碍物不属于任何预设类别：异形施工车、倾倒的树干、掉落的纸箱、悬空的水马。这些目标检测框要么漏掉，要么硬给一个错误的类别标签，下游规划就不知道该怎么处理。

占用网络把感知问题重新定义为“哪个体素被占据了”，然后可选地给每个体素加上语义类别。模型输出的是一张三维占用栅格，规划模块可以直接把它转化成代价地图来用。这里的关键价值不是“多了一个输出头”，而是感知从“认物”进化成“懂空间”——模型不只回答“这是什么”，还回答“这里能不能走”。

工程上需要踩清楚几个点：首先是分辨率和感知范围的权衡，一个100米乘80米、高度8米的空间，如果用0.4米的体素分辨率，输出体素数量非常惊人，输出头设计和稀疏化处理必须从一开始就规划；其次是标签来源，目前最靠谱的方式是用激光点云投影生成监督信号，纯视觉自监督的占用网络质量还不够稳定；第三是时序一致性，单帧占用预测噪声很大，不加时序融合的话，下游规控会被“闪烁出现的障碍物”逼疯，这一条我踩过很深的坑。

2.3 感知模型化的工程代价

换网络结构只是第一步，真正的工程代价往往被低估。训练数据层面，BEV监督需要多相机时序同步、联合标定、真值生成，数据管线比重建一次前复杂很多。训练资源层面，一个BEV感知模型的训练成本比原来的2D检测高一个数量级，而且收敛行为对学习率、初始化、数据配比非常敏感，经常出现“GPU上指标很好、一上车端就掉点”的情况。

部署环节是重灾区。车端推理框架对BEV中的attention算子支持往往不完善，量化后注意力分布容易漂移，导致模型在实车上表现和离线评测差一大截。我的经验是：结构设计阶段就要把车端编译的同学拉进来，让模型结构迁就推理引擎的算子能力，而不是等训练完再丢给部署团队去“变魔术”。

3. 决策与规划链路：端到端、VLA与LLM推理的三条路线

3.1 端到端规划：从“分模块级联”到“全栈可微”

端到端规划想解决的核心问题就是第一节说的误差累积。做法是把感知、预测、规划放在同一个优化目标下，让误差在整条链路上共同回传，而不是各管一段。

目前实现上大体分两个流派。一个流派保留中间监督信号——依然输出检测框、占用栅格、目标轨迹预测，只不过这些输出和最终规划轨迹在同一个网络里联合训练。好处是每个环节仍然有可解释的输出，调试和兜底都方便，量产上更容易接受。另一个流派更激进，直接从传感器原始输入到轨迹点或者控制指令，中间不保留任何语义输出，数据和算力的门槛高得多，可解释性也更难。

训练范式目前以模仿学习为主，用大量人类驾驶数据学习“在什么场景下应该怎么开”。扩散模型在轨迹生成这个任务上潜力很大，因为驾驶行为天然是多模态的——同样是汇入主路，有人选择加速抢在货车前，有人选择减速跟在后面，扩散模型能比单峰回归更好地建模这种多样性，生成更自然的轨迹分布。

3.2 VLA模型：语言为什么能帮车做决策

VLA（视觉-语言-动作模型）是近两年很受关注的方向。基本结构是视觉编码器负责把场景转成视觉特征，语言模型负责场景理解和推理，最后通过一个动作头输出驾驶决策。有人觉得语言在这里是个噱头，但实际它解决了三个很现实的问题。

第一是指令理解。用户说“停到那个蓝色牌子前面”“从第三个出口出环岛”，语言能让车理解自然语言里的目标位置，这比让用户在地图上戳点自然得多。第二是复杂场景的语义推理。“前方有一辆逆行的三轮车正在往我这边变道”这件事，检测框表达不了，但语言可以。第三是开放世界的先验知识。模型就算没见过某种异形器械，也能借助语言模型训练时积累的常识，推断“这东西大概率是施工设备、不会突然启动”，从而采取保守策略。

VLA在封闭园区、港口、低速物流这些场景已经有不少试点，因为速度慢、场景边界清晰、出事后果可控。在高速开放道路上，语言模型的幻觉问题还很难接受，车不能因为模型“一本正经地胡说八道”就跟着犯傻。

3.3 大模型规划的现实约束：延迟、幻觉与安全兜底

纯LLM直接输出方向盘转角，现阶段量产基本不可能，原因非常朴素：延迟上，一个LLM推理动辄几百毫秒，而控制回路要求的是几十毫秒级别；可靠性上，红绿灯、车道线这类安全关键信息容不得半点猜测；可验证性上，神经网络输出无法做形式化的安全证明。

所以我认为接下来几年最现实的落地形态是混合架构：大模型做“上层参谋”，负责判断该不该变道、为什么需要减速这类策略性问题；轻量级模型或者传统控制器做“底层执行”，负责具体的轨迹生成和横纵向控制；安全层独立于这条AI决策链，一旦检测到异常就强制接管。翻译成人话就是：大模型拿主意，但保险丝始终握在执行层和安全层手里。

4. 数据链路：生成式AI让数据闭环第一次真正“转起来”

4.1 场景挖掘：用大模型在亿公里回传里“捞针”

数据闭环的瓶颈从来不是数据总量不够，而是“值得学习的片段太少”。车队一天回传几十万公里数据，其中真正需要精细标注的corner case可能只有几百个，比例低到万分之一。

以前靠规则筛选，比如急刹、大曲率转弯、出现特定目标类型；后来升级成学习式筛选，用模型的不确定性、预测误差、感知loss作为筛子。现在更高效的手段是让多模态大模型直接做语义检索——你给它一句话“找被加塞且对方没打灯的片段”，它能在海量回传视频里快速捞出来。检索成本比写规则低一个量级，而且新增需求只需改一句话，不用重新设计规则集，这对团队迭代速度的提升是质变。

4.2 自动标注与生成式仿真：把数据成本打下来

标注成本直接决定了大模型能不能规模化。当前主流是teacher模型先生成初始标注，人工只做校验和修正。BEV感知模型本身就可以充当标注器，生成的伪标签配合时序平滑，质量已经能超过一部分人工标注。一个视觉团队的产能瓶颈，慢慢从“标注人力”转移到“抽样策略和校验流程设计”上。

生成式仿真则是另一个大杀器。用NeRF或者3D高斯溅射重建真实路口，就能支持任意视角渲染，再叠加天气、光照、纹理编辑，可以批量制造“雨夜路面反光加对向远光”“黄昏逆光下的横穿行人”这类难组合场景。交通流模拟也在升级——用学习模型驱动虚拟车辆，主动制造“集体加塞”“连续鬼探头”这类高压力交互，让被测系统在仿真里反复脱层皮，而不是等到路上出事才发现问题。

4.3 评测体系的升级：开环指标如何误导人

这是我认为数据链路里最容易被忽视、却影响最大的部分。开环指标比如检测mAP、预测ADE，跟最终驾驶体验的相关性其实远没有想象中高。有时候感知mAP涨了两个点，规划体验毫无变化；反过来，某个预测指标变差了，但规划端因为不确定性建模更准，实际接管率反而下降。

更靠谱的评估维度有三个：第一是闭环仿真，整条链路在仿真环境里跑完整的驾驶任务，统计接管率、碰撞率、舒适性指标；第二是影子模式，新模型在量产车上旁路运行、只输出不执行，和真实人类驾驶员在同一段路上对比；第三是基于干预的指标，比如平均干预里程，以及每次干预的原因分类——是感知漏了、预测偏了，还是规划太怂，这个归因结果才是算法团队真正该盯的看板。

5. 量产落地：算力、安全与可解释性的平衡术

5.1 车端部署的硬约束

论文里的大模型动辄十亿百亿参数，车端可没有这么奢侈的环境。我梳理了一张容易踩坑的约束表：

量产上最成熟的套路是“先训大、再蒸馏小”。大teacher模型负责刷能力上限，小student模型通过logit蒸馏、特征蒸馏、轨迹蒸馏，把能力压到车端跑得动的规模。这里要特别提醒：蒸馏不是拿小模型拟合大模型的输出就完事，关键是让小模型学到teacher的不确定性估计和长尾行为，否则小模型只会学到“平均驾驶风格”，一到corner case就露馅。

5.2 安全兜底与影子模式

大模型上车之后，安全体系不能还是“死守规则”那一套。我个人建议三道防线并行。

第一道是实时监控网络，专门检测输入分布漂移、模型置信度崩坏、感知一致性异常——一句话，让系统“知道自己不知道”。第二道是功能安全冗余，独立于AI决策链的紧急制动、车道保持这类功能保留着，大模型真“发疯”了它们能物理兜底。第三道是影子模式迭代，任何新模型先跑大量真实路测的影子数据，积累“如果当时交给它开”的表现，跟人类司机对比之后再决定能不能扩大权限。

5.3 可解释性：拿什么说服监管和用户

用户和监管不会因为“大模型很聪明”就接受黑盒开车。工程上现在能落地的做法有三件套：一是决策日志，记录每个关键决策对应的场景证据——触发了哪些目标、哪种占位、哪条规则；二是置信度出口加分布外检测，模型判断自己把握不足时主动降级或者请求接管；三是场景级回归测试，每个版本上线前跑固定场景库，保证老场景不退步、新场景有实打实的改进。

数据合规和信息安全是底座工程，训练数据怎么采集、怎么匿名化、怎么存储流转，每一环都要在架构设计阶段就预留能力，而不是上线前突击补课。

6. 给想上车的团队几条实在建议

如果是一支正在做量产智驾的团队，我不建议一上来就搞全栈端到端。更稳的路径是先选一个能从数据闭环直接获益的环节切开，比如数据挖掘或者感知换代，把“数据—模型—评测”的正循环先转起来，积累经验和组织能力，再逐步往规划端渗透。

第二个建议是尽早建立闭环评测体系。开环指标只配做初筛，最终取舍必须看闭环仿真里的接管率和干预原因分类。没有这套东西，团队很容易被某个指标的大幅上涨带偏，白白消耗几个月算力。

第三，把数据工程师放到核心位置。大模型时代，算法团队的一半产能应该花在数据流水线上，而不是反复改loss函数。谁能更高效地把海量数据变成有效训练样本，谁就掌握了迭代速度。

最后，对纯LLM控制保持敬畏。混合架构是未来几年最现实的路——先让大模型当“副驾驶参谋”，在仿真和影子模式里积累可信度，再一步步扩大它的决策权限。我在实际项目中反复体会到一句话：大模型不是银弹，但它是放大器，你的数据质量、工程能力和评测体系，全都会被它放大十倍。底座没打好就上模型，等于在豆腐上盖高楼；底座扎实了，大模型带来的体验跃迁，是传统架构怎么追都追不上的。