1. 从“只会聊天”到“动手干活”：物理世界模型到底卡在哪
过去两年，大模型在文本、图像、代码这些“数字世界”的任务上突飞猛进，但一让它去操控机械臂拧螺丝、让机器人在杂乱房间里找东西、让仿真环境里的智能体完成“把桌上的杯子推到盘子旁边”这种三岁小孩都会的动作，表现就断崖式下跌。原因不复杂：数字世界里的“对错”可以用下一个词的概率、像素的相似度来衡量，而物理世界里的“对错”必须由重力、摩擦、碰撞、材质、接触力这些硬约束来裁决。一个模型可以生成一段语法完美、逻辑通顺的“把杯子拿起来”的文字，但它完全不知道杯子里有没有水、杯壁滑不滑、桌面是不是倾斜的。
这就是物理世界模型要解决的核心问题。它不是单纯的语言模型，也不是单纯的视频生成模型，而是一个能够在内部表征物理规律、并基于这种表征预测动作后果的系统。你可以把它理解成一个“脑内沙盘”：智能体在真正动手之前，先在模型里推演一遍“如果我这样推，物体会怎么动”，从而避免在真实世界里反复试错带来的高昂成本。
“InternW0”这个标题里的“W”我倾向于理解为World（世界），而“0”则暗示这是一个基础版本、起点版本，或者说是面向“零样本/少样本”现实交互的初代尝试。关键词“高效现实世界交互”点出了两个硬指标：一是高效，意味着不能靠海量真实交互数据硬堆，得靠模型本身的泛化能力和仿真到现实的迁移效率；二是现实世界，意味着评测场景不是干净的仿真环境，而是有噪声、有遮挡、有材质变化、有动态干扰的真实物理场景。
适合读这篇内容的人，我大致分三类：一是做机器人学习、具身智能方向的研究生和工程师，你们可能正在被“仿真里跑通、真机上翻车”折磨；二是做仿真环境、数字孪生、工业仿真的从业者，你们关心怎么让仿真更“真”；三是对世界模型、视频预测、模型基强化学习感兴趣的技术爱好者，你们想搞清楚这类模型和Sora那种视频生成模型到底差在哪。下面我会从核心能力拆解、技术路线对比、实操中的坑、以及怎么自己搭一个最小可用的物理世界模型原型这几个角度，把这件事讲透。
2. 物理世界模型的四根支柱：感知、表征、预测、决策
2.1 感知层：不是“看到”，而是“看懂可交互性”
很多人一上来就堆视觉编码器，用ViT、用DINOv2、用CLIP，觉得特征越强越好。但物理世界模型的感知层有一个特殊要求：它必须输出可供物理推理的结构化信息，而不是单纯的语义标签。举个例子，一张桌子上有一个透明塑料杯和一个金属杯子，语义分割可能都能正确标出“cup”，但物理推理需要知道：塑料杯质量轻、摩擦系数低、易变形；金属杯质量大、导热快、表面可能有冷凝水导致打滑。这些属性光靠RGB图像很难稳定推断，所以实际系统中通常会融合多模态信号。
我在一个模拟项目里试过纯RGB方案，结果模型在“推杯子”任务上成功率只有三成左右，失败案例几乎全是透明或反光物体。后来加了深度图（Depth）和触觉阵列的模拟信号，成功率直接拉到七成以上。深度图解决了几何形状和距离问题，触觉信号解决了材质和滑动趋势问题。这里的关键经验是：不要指望单一模态包打天下，物理属性天然是多模态的。如果你只有RGB，那就得在训练数据里大量加入材质标注、光照变化、透明物体样本，否则模型学到的“物理”只是纹理相关性，换个场景就崩。
另一个容易被忽略的点是坐标系和尺度。仿真环境里物体尺寸是精确已知的，但真实场景中模型必须从视觉中估计绝对尺度。一个杯子在图像里占100个像素，它到底是10厘米还是20厘米？这直接影响抓取力度和运动规划。常见做法是用双目深度、结构光或者已知尺寸的参照物来标定，但在开放场景中这仍然是个难题。我的建议是：如果你的应用场景尺度变化不大（比如固定工作台），可以先用标定板做一次离线标定，把尺度先验硬编码进模型；如果场景尺度变化大，那就得引入单目深度估计网络，并且用真实尺度数据做微调。
2.2 表征层：把物理规律“压缩”进隐空间
表征层的核心任务是：把高维的视觉、触觉、本体感觉信号，压缩成一个低维的、对物理动力学友好的隐状态。这个隐状态要满足几个条件：第一，它得是马尔可夫的，即当前状态包含了预测未来所需的全部信息；第二，它得是平滑的，相似物理状态在隐空间里距离要近；第三，它得是可干预的，即动作能在这个空间里产生可预测的变化。
目前主流做法有两类。一类是基于重建的表征，比如用VAE或MAE把观测压成隐向量，再解码回原图。这类方法的好处是隐向量保留了丰富的视觉细节，坏处是模型可能把大量容量浪费在纹理、光照这些与物理无关的因素上。另一类是基于对比学习的表征，比如用时间对比学习（TCL）或随机傅里叶特征，让模型学会区分“不同物理状态”而忽略“同一状态的不同视角”。这类方法在物理推理任务上通常更鲁棒，但需要精心设计正负样本对。
我自己的经验是：混合使用。先用重建损失预训练一个视觉编码器，让隐向量保留基本几何信息，再用对比损失微调，把物理无关的变异因素（如光照、背景纹理）压掉。具体操作上，可以在对比学习阶段引入“动作条件”：把“同一状态执行不同动作后的下一状态”作为负样本，把“不同状态执行相同动作后到达同一状态”作为正样本。这样学出来的隐空间，动作的效果是线性可分的，后续做规划会容易很多。
还有一个实操细节：隐空间的维度不要贪大。我见过有人把隐向量设成1024维，结果模型在仿真里过拟合，真机上完全不能用。物理动力学本质上自由度没那么高，一个桌面操作任务，物体位姿6维、速度6维、加上一些材质参数，几十维足够了。维度太大反而会让模型学到虚假相关性。我一般从32维或64维起步，根据任务复杂度再调整。
2.3 预测层：动力学模型才是真正的“物理引擎”
预测层是物理世界模型的心脏。给定当前隐状态和动作，预测下一时刻的隐状态，这就是动力学模型。它和视频生成模型的本质区别在于：视频生成追求像素级逼真，动力学模型追求物理一致性。一个动力学模型可以生成很模糊的未来帧，但只要物体运动轨迹符合重力、碰撞、摩擦规律，它就是有用的；反过来，一个视频生成模型可以生成极其清晰的未来帧，但杯子穿模了、球弹跳高度不对，那它对决策毫无价值。
目前动力学模型的实现路线主要有三种。第一种是确定性RNN/Transformer，直接回归下一状态。优点是训练简单、推理快，缺点是无法表达不确定性，遇到多模态未来（比如杯子可能倒也可能不倒）就抓瞎。第二种是概率模型，比如高斯混合、扩散模型、流匹配。这类模型能输出未来状态的分布，适合做基于模型的规划，但推理成本高，而且容易在长时预测中累积误差。第三种是神经ODE或连续时间模型，把动力学建模成连续微分方程，优点是时间分辨率可变、物理归纳偏置强，缺点是训练不稳定、对噪声敏感。
我在实际项目里最常用的是概率集成模型：训练多个动力学模型，每个输出一个高斯分布，然后集成。这样做有三个好处：一是能估计认知不确定性（模型之间分歧大说明数据不足），二是能估计偶然不确定性（单个模型输出的方差），三是集成后的预测更鲁棒。具体训练时，每个模型用不同的随机种子和bootstrap采样，损失函数用负对数似然。推理时，把多个模型的均值和方差加权融合，得到一个更可靠的预测分布。
这里有个坑必须提醒：长时预测的误差累积。如果你用一步预测误差来训练，模型在预测10步、20步之后可能完全跑偏。解决办法是多步展开训练：在训练时就让模型预测未来K步，并把K步的损失都反传回去。K一般取5到10，太大容易梯度爆炸，太小又学不到长时依赖。另一个技巧是课程学习：先训练一步预测，再逐步增加预测步数，让模型慢慢适应。
2.4 决策层：在“脑内沙盘”里做规划
有了感知、表征、预测，最后一步就是决策。物理世界模型的决策通常有两种范式：基于模型的强化学习和模型预测控制。前者把动力学模型嵌入RL循环，用模型生成虚拟经验来训练策略；后者在每个时间步用模型预测未来若干步的轨迹，然后优化动作序列。
模型预测控制（MPC）在物理交互任务里特别实用，因为它天然支持约束（比如关节限位、碰撞避免）和多目标优化（比如既要快又要稳）。具体实现时，可以用随机射击法（Random Shooting）、交叉熵法（CEM）或者可微规划。我一般先用CEM，因为它对模型不可微、动作空间连续的情况都适用，而且实现简单。流程是：采样一批动作序列，用动力学模型预测每条序列的未来轨迹，计算代价（比如距离目标点的距离、能量消耗、碰撞惩罚），然后保留代价最低的一批，用它们的分布更新采样分布，迭代几次就能收敛。
但MPC有个致命弱点：它对动力学模型的精度极其敏感。如果模型预测“推杯子会向前滑”，实际却“推杯子会翻倒”，那规划出来的动作就是灾难性的。所以实际系统中通常会加一个安全回退机制：当模型预测的不确定性和实际观测偏差超过阈值时，切换到保守策略（比如停止动作、重新观测、或者执行一个已知安全的动作）。这个阈值怎么定？我的经验是，用验证集上的预测误差分布来定，取95%分位数作为触发回退的边界。
3. 仿真到现实：为什么你的模型一上真机就“失智”
3.1 视觉域差距：纹理、光照、噪声一个都跑不掉
仿真环境里的渲染图再逼真，和真实相机拍出来的图像也有本质差异。真实图像有传感器噪声、运动模糊、卷帘快门畸变、自动曝光带来的亮度突变，还有镜头畸变和色差。这些在仿真里要么没有，要么模型不一样。一个在干净仿真图上训练的视觉编码器，直接拿到真实图像上，特征分布会严重偏移。
解决这个问题，最直接的办法是域随机化：在仿真里随机化纹理、光照方向、光照强度、相机位置、噪声类型和强度。但域随机化有个度的问题：随机化太弱，迁移不过去；随机化太强，模型学不到有用特征。我的经验是，分阶段随机化：先在小范围随机化下训练一个基础模型，然后用真实数据微调，微调时逐步扩大随机化范围。这样模型既能学到物理规律，又能适应真实域的统计特性。
另一个技巧是风格迁移。用CycleGAN或类似方法把仿真图转换成真实风格，或者把真实图转换成仿真风格，然后在转换后的数据上训练。这样做的好处是不需要成对的仿真-真实数据，坏处是风格迁移可能引入伪影，而且转换后的图像物理属性可能被改变（比如把金属杯转成塑料杯的纹理）。所以风格迁移一般只用于视觉编码器的预训练，动力学模型还是得在原始数据上训练。
3.2 动力学差距：摩擦、间隙、延迟这些“小东西”最要命
视觉差距肉眼可见，动力学差距则隐蔽得多，但破坏力更大。仿真里的摩擦系数是理想化的库仑摩擦，真实世界的摩擦有静摩擦、动摩擦、粘滞摩擦，还随温度、湿度、磨损变化。仿真里的关节是理想铰链，真实关节有间隙、有柔性、有传动误差。仿真里的控制指令立即生效，真实系统有通信延迟、执行器响应延迟、滤波延迟。
我在一个模拟机械臂项目里踩过一个大坑：仿真里训练的策略在真机上抓取时总是“差一点”，要么抓空，要么抓太紧把物体捏飞。排查了很久才发现，仿真里的夹爪闭合速度是恒定的，而真机夹爪在接触物体后速度会下降，导致实际闭合时间比仿真长。这个延迟在仿真里不存在，策略学到的“闭合后立即抬起”在真机上就变成了“还没夹稳就抬起”。后来在仿真里加入了执行器动力学模型（一阶惯性环节加延迟），并随机化延迟时间，策略才终于迁移成功。
所以我的建议是：仿真环境里一定要建模执行器动力学和通信延迟，哪怕是个简单的线性模型。另外，系统辨识也很重要：用真实系统采集一批“动作-状态”数据，拟合仿真里的物理参数（质量、摩擦、阻尼），让仿真尽量逼近真实。系统辨识不需要很精确，但至少要把主要的时间常数和延迟量级对上。
3.3 观测差距：部分可观测才是现实常态
仿真里你可以拿到物体的精确位姿、速度、接触力，真实系统里这些量要么测不到，要么测不准。视觉有遮挡，触觉只有接触点，本体感觉有漂移。物理世界模型必须能在部分可观测条件下工作，这意味着它需要维护一个信念状态，而不是单纯依赖当前观测。
常见做法是用循环神经网络或Transformer来维护历史信息，把过去若干帧的观测和动作编码成隐状态。但这里有个权衡：历史窗口太长，计算量大、容易过拟合；太短，又不足以消除遮挡带来的不确定性。我的经验是，用自适应窗口：当观测不确定性高时（比如遮挡严重），自动延长历史窗口；当观测清晰时，缩短窗口。实现上可以用一个门控机制，根据当前观测的置信度来调节历史信息的融合权重。
另外，主动感知也很关键。如果模型知道自己对某个区域不确定，它可以主动移动相机或机械臂去获取更多信息。这在仿真里很容易实现（直接渲染新视角），在真机上则需要运动规划配合。一个实用的技巧是：把“信息增益”作为MPC代价函数的一项，鼓励智能体选择能减少不确定性的动作。
4. 动手搭一个最小可用原型：从数据采集到闭环测试
4.1 环境搭建与数据采集：别一上来就搞大而全
如果你现在就想动手试，我建议从一个自由度开始：比如一个推块任务，平面上有一个方块，智能体只能水平推。状态是方块的位置和速度，动作是推力。这个任务简单到可以用解析动力学描述，但足以让你跑通整个流程。
环境搭建上，仿真端我推荐用PyBullet或MuJoCo，两者都轻量、Python接口友好、支持并行。PyBullet的渲染质量一般，但速度快，适合做域随机化；MuJoCo的接触动力学更准，适合做精细操作。真实端如果条件有限，可以用一个低成本的桌面机械臂加一个俯视相机，甚至可以用手机慢动作拍摄加手动标注来替代。
数据采集时，动作要覆盖足够广的范围，不要只采成功案例。失败案例（推歪了、推过头了、卡住了）对训练动力学模型同样重要，因为模型需要知道“什么动作会导致坏结果”。我一般会采三类数据：随机动作（探索）、专家动作（演示）、扰动动作（在专家动作上加噪声）。比例大概是4:3:3。每类数据至少几百条轨迹，每条轨迹几十到几百步。
4.2 模型训练：损失函数设计和超参选择
训练动力学模型时，损失函数通常由三部分组成：重建损失（如果用了VAE）、预测损失（下一状态的对数似然）、一致性损失（多步预测的累积误差）。权重上，预测损失是主项，重建损失是辅助项（权重0.1到0.5），一致性损失根据任务调整（权重0.1到1.0）。
超参方面，学习率用1e-4到3e-4，batch size用64到256，训练轮数看数据量，一般几百到几千轮。优化器用AdamW，权重衰减1e-5到1e-4。隐状态维度从32起步，如果欠拟合再加到64或128。集成模型的数量用5到10个，太多推理慢，太少不确定性估计不准。
这里有个验证集划分的坑：不要随机划分，要按轨迹划分。因为同一轨迹的相邻帧高度相关，随机划分会导致验证集泄漏，模型在验证集上表现虚高。正确做法是留出若干条完整轨迹作为验证集，确保验证集里的物理场景和训练集不重叠。
4.3 闭环测试：怎么判断模型是真的“懂物理”了
训练完模型，怎么知道它是不是真的学到了物理规律，而不是在拟合数据？我一般做三个测试。第一，反事实预测：给模型一个训练时没见过的初始状态和动作序列，看它预测的未来轨迹是否符合直觉。比如把一个球从不同高度释放，预测的落地时间应该满足自由落体公式。第二，干预测试：在预测过程中人为改变某个物理量（比如把摩擦系数调低），看模型预测的滑动距离是否相应变长。第三，闭环控制：把模型接入MPC，在仿真里跑任务，看成功率。如果模型真的懂物理，闭环成功率应该显著高于随机策略和纯反应式策略。
我自己的经验是，反事实预测最能暴露问题。很多模型在训练分布内表现很好，但一旦初始状态偏离训练集，预测就完全不合理。这说明模型学到的只是局部线性近似，没有真正抓住非线性动力学。解决办法是主动学习：用模型的不确定性来指导数据采集，优先采集模型不确定高的区域的数据，迭代几轮后模型的泛化能力会明显提升。
5. 几个容易踩的坑和我的应对套路
5.1 过拟合仿真参数：模型成了“仿真器专用插件”
这是最常见的问题。模型在仿真里调参调得飞起，一换仿真器或者一上真机就废。根本原因是模型把仿真器的特定参数（比如接触求解器的迭代次数、时间步长）当成了物理规律。应对方法是多仿真器训练：在PyBullet、MuJoCo、Isaac Sim里分别采集数据，混合训练。如果条件不允许，至少要在仿真里随机化时间步长和求解器参数，让模型学会忽略这些实现细节。
5.2 忽视动作空间的实际约束：规划出来的动作执行不了
MPC规划出的动作序列可能包含速度突变、力矩超限、关节超程，这些在仿真里可能被忽略，在真机上直接触发保护。所以动作空间必须加约束：速度限幅、加速度限幅、力矩限幅、关节限位。实现上可以在MPC的代价函数里加惩罚项，或者在采样时直接过滤掉违反约束的动作。我一般用后者，因为更可靠。
5.3 不确定性估计不准：模型“不知道自己不知道”
集成模型的不确定性估计在分布内通常靠谱，但在分布外可能失效。比如模型遇到一个完全没见过的物体形状，集成里的所有模型可能都给出低方差但错误的预测。这时候需要分布外检测：用密度估计、重构误差、或者马氏距离来判断当前观测是否在训练分布内。如果不在，就触发安全回退。这个阈值不能拍脑袋定，要用验证集上的分布外样本调。
5.4 长时规划的计算爆炸：步数一多就算不动
MPC的规划步数越长，计算量越大。如果动作空间是连续的，采样法需要的样本数随步数指数增长。解决办法是分层规划：高层用粗粒度模型规划子目标，低层用细粒度模型规划具体动作。或者用模型预测路径积分（MPPI）这类高效采样方法，它通过重要性采样把计算集中在有希望的区域。我一般把规划步数控制在10到20步，再长就用分层。
6. 这个方向接下来还能怎么玩
物理世界模型现在最缺的不是算力，而是高质量的物理交互数据。仿真数据便宜但不够真，真实数据真但太贵。一个很有前景的方向是神经仿真器：用神经网络学习一个可微的物理引擎，既能像仿真器一样生成数据，又能像神经网络一样从数据中学习。另一个方向是跨 embodiment 迁移：让在一个机械臂上训练的物理模型，能快速迁移到另一个不同构型的机械臂上。这需要模型把“物理规律”和“本体构型”解耦，目前还没有特别成熟的方案。
如果你现在就想入手，我的建议是：先别碰人形机器人这种高自由度系统，从一个简单的推块或抓取任务开始，把感知、表征、预测、决策这条链路完整跑通一遍。跑通之后，再逐步增加复杂度。物理世界模型的门槛不在算法，而在工程细节：数据怎么采、仿真怎么调、延迟怎么补、不确定性怎么估。这些细节没有捷径，只能一个个踩过去。我在这个方向上踩了两年坑，最大的体会是：模型架构可以抄，工程经验抄不来。希望上面这些经验能帮你少走点弯路。
