VLA 模型深度解析从 LLM/VLM 到 VLA具身智能的大脑如何工作「具身智能落地实战」系列第 2 篇上一篇我们拆解了具身机器人的四大硬件系统其中决策层被称为机器人的大脑。这个大脑到底是如何工作的为什么近两年VLA 模型成为具身智能领域最热门的方向本文从技术演进、核心原理、工程挑战三个维度系统性拆解 VLA 模型帮你理解具身智能的大脑是如何从只会说话进化到能看会说还能动手的。引言大模型的身体困境2023 年以来大语言模型LLM席卷全球GPT、Claude、文心一言等产品让所有人都见识到了 AI 的语言能力。但一个尴尬的事实是这些大模型再聪明也只能活在屏幕里——它们能写代码、能写文章、能回答问题但无法在物理世界中执行任何动作。让 AI 拥有身体从虚拟智能走向具身智能成为行业的下一个共识。而 VLAVision-Language-Action视觉-语言-动作模型正是实现这一跨越的核心技术路径。简单来说LLM 解决了听懂和说话的问题VLM 解决了看懂图像的问题而 VLA 进一步解决了把理解转化为动作的问题。它让 AI 第一次具备了感知—理解—执行的完整闭环。一、从 LLM 到 VLA大模型的进化之路要理解 VLA先要理解它是怎么一步步进化来的。大模型的演进本质上是模态不断扩展的过程——从只能处理文字到能看懂图像再到能输出动作。1.1 LLM只会说话的大脑LLMLarge Language Model大语言模型是一切的起点。它只接受一种输入文字。也只产生一种输出文字。输入一段文本问题、指令、上下文输出一段文本回答、续写、总结能力语言理解、逻辑推理、知识问答、代码生成局限看不到图像更无法控制物理设备LLM 就像一个博学的盲人——知识渊博、能说会道但看不见周围的世界也无法动手做任何事。1.2 VLM能看会说的大脑VLMVision-Language Model视觉-语言模型在 LLM 的基础上增加了视觉输入能力。输入图像 文字输出文字能力图像描述、视觉问答、OCR 识别、图像推理代表模型GPT-4V、Gemini、Qwen-VL 等VLM 就像一个视力恢复的博学之人——既能看懂图片里有什么又能用语言描述和推理。但它依然只能说不能做。你给它看一张桌子上有杯子的照片它能告诉你这是一个红色的杯子放在桌子右侧但它无法控制一只机械臂去把杯子拿起来。1.3 VLA能看会说还能动手的大脑VLAVision-Language-Action Model视觉-语言-动作模型在 VLM 的基础上把输出从文字扩展到了动作。输入图像机器人第一视角摄像头 文字人类指令如把红色杯子拿起来输出动作序列机器人关节的运动轨迹、末端执行器的位姿变化、夹爪的开合指令能力感知环境、理解指令、规划动作、控制执行代表模型Google RT-2、Octo、OpenVLA、π0 等VLA 就像一个终于长出了手的人——能看、能听懂指令、还能亲自动手去完成任务。这是 AI 从虚拟智能走向具身智能的关键一步。工程视角从 LLM 到 VLA 的演进不是简单的功能叠加而是输出空间的根本变革。LLM 和 VLM 的输出都是离散的文字 Token而 VLA 的输出是连续的、高维的机器人动作空间。如何把连续动作转化为大模型可以处理的离散 Token是 VLA 技术的核心难点我们在下一节详细展开。二、VLA 的核心原理动作是如何被生成的理解了 VLA 是什么接下来看它到底是怎么工作的。VLA 的核心思想可以用一句话概括像生成文本一样生成动作。2.1 端到端架构从像素到动作传统的机器人控制系统是模块化的——感知、规划、控制分别由不同的模块负责模块之间通过固定的接口传递数据。就像一场接力赛摄像头图像 → 感知模块识别物体→ 规划模块生成路径→ 控制模块执行动作→ 机器人运动而 VLA 是端到端的——一个模型直接从原始图像和语言指令输出最终的机器人动作。中间没有显式的感知模块、规划模块和控制模块的拆分。就像一辆直通车摄像头图像 语言指令 → VLA 大模型 → 机器人动作这种端到端架构的优势在于避免信息损失模块化方案中每个模块的输出都是对输入信息的压缩层层传递后信息损失严重。端到端方案直接从原始输入到最终输出保留了更多信息。泛化能力强VLA 基于大规模预训练具备强大的零样本和少样本泛化能力能处理训练中没见过的新物体、新场景、新指令。部署简洁不需要维护多个模块和复杂的接口一个模型搞定一切。但端到端也带来了挑战——大模型原本是为了处理离散的文字 Token 设计的而机器人动作是连续的、高维的。如何让大模型生成动作答案是动作 Token 化。2.2 动作 Token 化把连续动作变成离散符号大语言模型的本质是一个下一个 Token 预测器——给定前面的文字预测下一个最可能出现的文字 Token。所有文字都被映射到一个固定的词表Vocabulary中每个词对应一个唯一的 Token ID。要让大模型生成动作就必须把连续的机器人动作也转化为离散的 Token放进词表里。这个过程就是动作 Token 化Action Tokenization。具体怎么做第一步动作空间离散化机器人的动作通常是一个高维连续向量例如一个 7 自由度机械臂的动作可能包含 7 个关节的角度、角速度、力矩加上夹爪的开合度总共十几个连续值。把每个维度的连续取值范围如关节角度 -180° 到 180°均匀切分成 N 个区间如 256 个每个区间对应一个离散的 Token。这样一个连续的动作向量就被转化为一串离散的 Token ID。第二步动作序列建模机器人完成一个任务通常需要多步动作如伸手、靠近、抓取、抬起、移动、放下。VLA 模型像生成文本一样自回归地逐个生成动作 Token每生成一组 Token 就对应一个时间步的机器人动作。第三步动作解码与执行生成的离散动作 Token 被解码回连续的动作值发送给机器人的控制器执行。控制器根据这些动作值驱动电机完成物理运动。工程视角动作 Token 化的粒度是一个关键的工程权衡。切得太粗如每个维度只分 16 个区间动作精度不够机器人可能抓不准物体切得太细如每个维度分 1024 个区间词表太大模型训练难度和推理成本急剧上升。目前主流方案通常每个维度分 128-512 个区间在精度和效率之间取平衡。2.3 VLA 的推理流程一张图 一句话 → 一串动作理解了动作 Token 化我们就可以完整描述 VLA 的推理流程了第1步感知输入 ├── 机器人第一视角摄像头拍摄当前场景图像 └── 人类通过语音或文本下达指令如把红色杯子放到托盘上 第2步多模态编码 ├── 图像经过视觉编码器ViT等转化为视觉 Token 序列 ├── 语言指令经过文本编码器转化为文本 Token 序列 └── 视觉 Token 和文本 Token 拼接输入到大模型的 Transformer 中 第3步动作生成 ├── 大模型基于视觉和语言上下文自回归地生成动作 Token ├── 每生成一组动作 Token对应一个时间步的机器人运动指令 └── 持续生成直到任务完成或达到最大步数 第4步动作执行 ├── 动作 Token 解码为连续的关节角度/末端位姿/夹爪指令 ├── 发送给机器人控制器驱动电机执行 └── 执行后摄像头拍摄新的图像进入下一轮推理循环这个循环不断重复直到任务完成。整个过程中VLA 模型既是大脑理解指令、规划动作也是小脑直接输出精确的运动控制指令。三、VLA vs 传统方案为什么是范式革命VLA 之所以被称为具身智能的范式革命是因为它从根本上改变了机器人智能的实现方式。我们用一个对比来直观感受。3.1 传统模块化方案接力赛传统的工业机器人系统通常采用模块化架构模块职责输入输出感知模块识别物体、检测位置摄像头图像物体类别、位置坐标规划模块生成运动路径、避障物体位置、目标状态关节轨迹、路径点控制模块执行运动、力控调节关节轨迹电机电流、力矩指令每个模块独立开发、独立调试模块之间通过定义好的接口传递数据。这就像一场接力赛——感知跑完第一棒把棒交给规划规划跑完第二棒再交给控制。优点可解释性强、每个模块可以独立优化、安全性容易保证可以在规划层设置硬约束。缺点泛化能力差换一个新物体、新场景可能需要重新调参甚至重新开发模块信息损失每个模块的输出都是对输入的压缩层层传递后细节丢失开发成本高需要多个领域的专家计算机视觉、运动规划、控制理论协同开发长尾场景覆盖难非结构化环境中的各种意外情况模块化方案很难穷举3.2 VLA 端到端方案直通车VLA 用一个大模型替代了感知、规划、控制三个模块模块职责输入输出VLA 大模型感知规划控制图像 语言指令动作序列优点泛化能力强基于大规模预训练能处理未见过的物体和场景信息保留完整直接从原始图像到动作没有中间模块的信息损失开发简洁不需要维护多个模块数据驱动有数据就能训自然语言交互直接用人类语言下达指令不需要编程或示教缺点可解释性差黑盒模型很难解释为什么输出这个动作安全性难保证端到端模型可能输出意外动作硬约束难以嵌入推理延迟高大模型推理需要时间实时控制有挑战数据需求大需要大量高质量的机器人操作数据获取成本高3.3 对比总结维度传统模块化方案VLA 端到端方案架构感知→规划→控制多模块接力一个模型端到端泛化能力弱新场景需重新调参强零样本/少样本泛化可解释性强每个模块可独立分析弱黑盒模型安全性易保证可在规划层设硬约束难保证需额外安全层实时性好模块轻量、延迟低挑战大模型推理慢开发成本高需多领域专家协同中数据驱动但需大量数据适用场景结构化工业场景流水线、固定工位非结构化场景家庭、仓储、复杂巡检工程视角VLA 不是要完全替代传统方案而是各有适用场景。在高度结构化的工业流水线如汽车焊接、电子组装传统方案精度高、速度快、成本低依然是最优选择。但在非结构化、需要灵活应对变化的场景如家庭服务、仓储分拣、复杂巡检VLA 的泛化能力优势明显。未来的趋势很可能是VLA 做高层决策 传统控制做底层执行的混合架构——VLA 负责理解指令、规划任务级动作传统控制器负责精确的轨迹跟踪和力控两者取长补短。四、工程落地的五大挑战VLA 的前景很美好但从实验室 demo 到工业现场落地还有很长的路要走。以下是五个最核心的工程挑战。4.1 数据稀缺机器人操作数据是黄金大模型的能力来自大规模数据。LLM 有互联网上海量的文本数据VLM 有图文配对数据但 VLA 需要的是机器人操作数据——图像、指令、动作三者配对的数据。这种数据极其稀缺原因在于采集成本高需要真实机器人、真实场景、人工示教或遥操作每一条数据都有物理成本采集速度慢机器人执行一个任务可能需要几十秒一小时只能采集几十条数据数据质量要求高动作数据必须精确同步图像、指令、关节角度必须时间对齐稍有偏差就会影响训练效果多样性难保证不同机器人、不同场景、不同物体的数据很难统一目前行业的应对策略包括仿真数据合成Sim-to-Real、人类遥操作数据采集、开源数据集共享如 Open X-Embodiment等但数据稀缺依然是 VLA 落地的最大瓶颈。4.2 Sim-to-Real仿真到现实的鸿沟既然真实数据难采集能不能在仿真环境中生成大量数据然后迁移到真实机器人上这就是 Sim-to-Real仿真到现实迁移。但仿真和现实之间存在巨大的差距Reality Gap物理差距仿真中的物体质量、摩擦系数、弹性与现实不完全一致视觉差距仿真渲染的图像与真实摄像头拍摄的图像在光照、纹理、噪声上有差异动力学差距仿真中的电机响应、传动延迟与真实机器人有偏差传感器差距仿真中的传感器是完美的没有噪声、没有延迟、没有标定误差如果直接用仿真数据训练的模型放到真实机器人上性能可能大幅下降。目前的应对策略包括领域随机化在仿真中随机化各种参数让模型学会鲁棒性、领域自适应用少量真实数据微调模型、真实数据与仿真数据混合训练等。关于 Sim-to-Real 的详细技术拆解我们会在系列第 4 篇专门展开。4.3 推理延迟实时性的硬约束机器人控制对实时性有严格要求。工业机器人的控制周期通常是 1ms-10ms即使是服务机器人控制周期也通常在 20ms-50ms。而大模型的推理延迟通常在几百毫秒甚至秒级。这就产生了一个矛盾VLA 模型需要慢慢想但机器人需要快快动。目前的应对策略包括动作 chunking模型一次生成多步动作如未来 8 步控制器逐步执行减少模型推理频率分层控制VLA 负责生成任务级或轨迹级的粗粒度动作底层控制器负责高频的精确跟踪和力控模型压缩通过量化、蒸馏、剪枝等技术减小模型体积提升推理速度边缘算力升级使用更高性能的边缘 AI 芯片如 NVIDIA Orin、Thor缩短推理时间4.4 安全与可解释性黑盒模型的风险在工业场景中安全是不可妥协的底线。传统模块化方案可以在规划层设置硬约束如关节角度不能超过限位“末端速度不能超过阈值”“不能进入禁入区域”这些约束是确定性的、可验证的。但 VLA 是端到端的黑盒模型它输出的动作可能违反安全约束而且很难解释为什么输出这个动作。如果 VLA 控制的机械臂突然挥向操作人员后果不堪设想。目前的应对策略包括安全监督层在 VLA 输出和机器人执行之间加一层安全监督实时检查动作是否违反安全约束违反则拦截或紧急停止动作空间约束在训练和推理时限制动作空间确保模型不会输出超出安全范围的动作可解释性研究通过注意力可视化、反事实分析等方法尝试理解 VLA 的决策过程人机协作安全标准遵循 ISO 10218 等工业机器人安全标准设计物理隔离、速度监控、力限制等多重安全机制4.5 算力与成本边缘部署的难题VLA 模型参数量通常在数十亿到数百亿级别训练需要大规模 GPU 集群推理也需要较强的算力。但机器人是边缘设备算力、功耗、体积都受限。算力受限边缘 AI 芯片的算力远低于数据中心 GPU大模型推理可能跑不动功耗受限机器人电池容量有限高功耗芯片会显著缩短续航散热受限紧凑的机器人机身散热困难高功耗芯片容易过热降频成本受限高性能边缘芯片如 NVIDIA Orin价格较高会显著增加机器人 BOM 成本目前的应对策略包括模型压缩、知识蒸馏、量化推理、云端-边缘协同推理大模型在云端跑边缘只跑轻量模型等。但如何在有限的边缘算力上实现高性能 VLA 推理依然是一个开放的工程难题。五、VLA 的工业应用前景尽管挑战重重VLA 的工业应用前景已经开始显现。以下是几个最有潜力的方向1. 柔性制造与小批量生产传统工业机器人适合大批量、固定流程的生产如汽车焊接但在小批量、多品种、频繁换线的柔性制造场景如 3C 电子组装、定制化加工传统方案的编程和调试成本太高。VLA 具备自然语言交互和少样本学习能力可以通过指一下、说一句快速教会机器人新任务大幅降低柔性制造的自动化门槛。2. 仓储物流与分拣仓储场景中的物体种类繁多、摆放位置随机、包装形态各异是典型的非结构化环境。传统的分拣机器人只能处理特定品类的物体而 VLA 凭借强大的泛化能力可以处理从未见过的新物体适应复杂的仓储环境。3. 复杂巡检与运维电力、能源、化工等行业的巡检场景环境复杂、任务多样需要机器人识别各种仪表、设备、异常情况并执行简单的操作如开关阀门、擦拭镜头。VLA 的多模态理解能力和灵活的动作生成能力适合这类复杂巡检任务。4. 危险环境作业在核辐射、高温、有毒、易燃易爆等危险环境中人类无法直接作业需要机器人远程操作或自主作业。VLA 可以理解人类的高层指令并自主完成复杂操作减少人类在危险环境中的暴露时间。工程视角VLA 的工业落地不会是一夜之间替代所有传统机器人而是从非结构化、高灵活性、低精度要求的场景开始逐步渗透。短期内VLA 更可能作为传统机器人的大脑升级——用 VLA 做高层决策和任务规划用传统的运动控制和力控算法做底层执行形成混合架构。这种架构既能利用 VLA 的泛化能力又能保证传统控制的精度和安全性是当前最务实的落地路径。六、总结VLA视觉-语言-动作模型是具身智能的核心技术方向它让 AI 第一次具备了感知—理解—执行的完整闭环。核心要点回顾演进路径LLM语言→ VLM视觉语言→ VLA视觉语言动作大模型的模态不断扩展最终具备了物理执行能力核心原理通过动作 Token 化把连续的机器人动作转化为离散符号让大模型可以像生成文本一样生成动作实现端到端的从像素到动作范式变革VLA 用一个端到端模型替代了传统的感知-规划-控制多模块接力泛化能力更强但也带来了可解释性、安全性、实时性等新挑战五大工程挑战数据稀缺、Sim-to-Real 差距、推理延迟、安全与可解释性、边缘算力成本是 VLA 从实验室走向工业现场必须跨越的障碍应用前景柔性制造、仓储分拣、复杂巡检、危险环境作业是 VLA 最有潜力的落地方向短期内VLA 高层决策 传统控制底层执行的混合架构是最务实的路径VLA 不是万能的但它代表了具身智能的技术方向。随着数据积累、算法优化、算力升级VLA 的能力会持续提升最终让机器人从只会执行固定程序的机器进化为能理解、能学习、能灵活应对的智能体。关于作者越微智能Yuewell专注具身智能与工业 AI 视觉落地基于自研 VLA 多模态大模型提供全品牌机器人二次开发适配宇树/优必选/智元/傅利叶与工业级视觉算法定制支持从算法、硬件到产线实机部署的全栈交付。下一篇预告《SLAM 技术全解vSLAM vs Lidar SLAM 与多传感器融合》我们将拆解机器人的定位与建图技术看看机器人是如何知道我在哪和周围有什么的敬请关注。