EasyWAM-Unified-Wan22全参数与LoRA检查点全面对比:98.6%与87.0%成功率差距从何而来
EasyWAM-Unified-Wan22 是基于 Wan2.2-TI2V-5B 构建的统一「世界-动作模型(World Action Model)」检查点,用于机器人操作策略的训练与评测。本文基于 LIBERO 仿真基准的真实数据,逐项拆解全参数检查点 98.6%与LoRA 检查点 87.0%的成功率差距从何而来,并给出新手选型建议。
先搞懂:EasyWAM-Unified-Wan22 是什么?
用一句话概括:它让一个视频生成模型(Video DiT)同时干两件事——预测未来画面(视频 token)和输出机器人动作(action token)。两个模态通过同一组自注意力层双向耦合,实现"看得懂世界,也动得出手"。
关键设定一览:
| 配置项 | 说明 |
|---|---|
| 基础模型 | Wan2.2-TI2V-5B(5B 参数视频 DiT 主干) |
| 训练框架 | EasyWAM 代码库 |
| 状态 token 放置 | state_position: sequence |
| 全参数检查点 | libero_unified_wan22.pt |
| LoRA 检查点 | libero_unified_wan22_lora_128.pt(rank 128,alpha 128) |
| 归一化统计 | libero_dataset_stats.json |
💡LoRA 是什么?简单说就是不更新主干网络的全部参数,只训练少量低秩矩阵,显存开销小得多,但表达能力受限。这正是后文差距的来源。
LIBERO 成功率对比:全参数 vs LoRA 完整数据
以下数据来自 README.md 中 EasyWAM 官方 LIBERO 评测协议(4 个套件,每任务 50 次试验,数值越高越好,🔥 为本仓库架构):
全参数(Full-Parameter)
| 模型 | Spatial | Object | Goal | LIBERO-10 | 平均 |
|---|---|---|---|---|---|
| 🔥 EasyWAM-Unified | 98.4 | 98.8 | 99.2 | 98.0 | 98.6 |
| EasyWAM-MoT | 97.0 | 99.2 | 96.6 | 94.0 | 96.7 |
| EasyWAM-MoT-Joint | 98.2 | 98.0 | 97.6 | 96.8 | 97.7 |
| EasyWAM-MoT-IDM | 99.0 | 99.2 | 98.8 | 97.4 | 98.6 |
| EasyWAM-Hidden | 99.2 | 100.0 | 97.8 | 98.2 | 98.8 |
LoRA(Rank 128)
| 模型 | Spatial | Object | Goal | LIBERO-10 | 平均 |
|---|---|---|---|---|---|
| 🔥 EasyWAM-Unified | 91.2 | 98.8 | 91.8 | 66.2 | 87.0 |
| EasyWAM-MoT | 96.8 | 99.6 | 97.4 | 90.0 | 95.9 |
| EasyWAM-Hidden | 98.0 | 99.8 | 89.4 | 86.6 | 93.5 |
差距拆解:11.6 个百分点究竟丢在哪?
把两个检查点的 EasyWAM-Unified 成绩逐套件相减,结果非常直观:
| 套件 | 全参数 | LoRA | 差值 |
|---|---|---|---|
| Spatial | 98.4 | 91.2 | −7.2 |
| Object | 98.8 | 98.8 | 0.0 |
| Goal | 99.2 | 91.8 | −7.4 |
| LIBERO-10 | 98.0 | 66.2 | −31.8 |
| 平均 | 98.6 | 87.0 | −11.6 |
📊结论先说:约七成(31.8/4 ≈ 7.95 分,占平均差距的 68.5%)的差距来自 LIBERO-10 一个套件。Spatial 和 Goal 各损失 7 分左右,而 Object 套件纹丝不动。
为什么 LIBERO-10 掉得最惨?
LIBERO-10 是任务组合更复杂、步骤更长的套件,对长程时序推理和精细动作协调要求最高。LoRA 只允许低秩(rank 128)的更新,相当于给主干网络戴上了"紧箍咒":
- Object 类任务动作结构简单、目标单一,低秩更新足以近似 → 98.8% 不掉分;
- LIBERO-10 类任务需要主干在时空注意力上做出更精细的改动,rank 128 的表达容量不够用 → 66.2% 大幅下滑。
这就是"参数高效微调在长程、组合性任务上更容易露怯"的典型例子。
一个容易被忽略的发现
注意 LoRA 表格内部对比:同是 rank 128,EasyWAM-Unified 平均87.0,反而低于 EasyWAM-MoT 的95.9和 EasyWAM-Hidden 的93.5。也就是说,在有限参数预算下,"视频+动作统一建模"的 Unified 架构损失最大。如果你的显存只够跑 LoRA,且任务偏长程,这一点值得作为选型参考。
全参数还是 LoRA:新手选型指南
| 你的情况 | 建议 | 预期成功率 |
|---|---|---|
| 显存充足,追求极限性能 | 全参数检查点 | 98.6% |
| 显存有限,任务偏 Object 类(抓取/摆放) | LoRA 完全够用 | Object 仍达 98.8% |
| 显存有限,但必须完成 LIBERO-10 长程任务 | LoRA 风险较高,优先升级显存 | 仅 66.2% |
下载与评测:两步上手
第一步,下载检查点:
hf download OpenMOSS-Team/EasyWAM-Unified-Wan22 \ libero_unified_wan22.pt \ libero_unified_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints第二步,在 EasyWAM 中运行评测(两个检查点使用不同的 task 配方,切勿混用):
# 全参数 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22 \ ckpt=./checkpoints/libero_unified_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22_lora \ ckpt=./checkpoints/libero_unified_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json⚠️新手最容易踩的坑:LoRA 检查点不包含完整的 Wan2.2 主干权重,加载或评测前必须先下载 Wan2.2-TI2V-5B 主干并配置好路径(参见 EasyWAM 官方的 Wan2.2 backbone 指南)。此外,
[libero_dataset_stats.json](https://gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22/blob/794bd9bf249090e2336a0a1534eb43ac8eb69593/libero_dataset_stats.json?utm_source=gitcode_repo_files)保存了 state/action 的均值、标准差等归一化统计,推理时必须传入,否则动作尺度会错乱。
附:LIBERO-Plus 鲁棒性参考(仅全参数)
官方还报告了全参数检查点在 LIBERO-Plus 扰动基准上的表现(背景、相机、光照、噪声等 7 类扰动),Unified 平均79.0为同组最高,但最弱项是Camera(54.8)——对相机视角变化最敏感。如果你在真实部署中会更换相机位姿,建议重点压力测试这一项。
常见问题
Q1:LoRA 检查点可以直接加载吗?不可以。它只包含主干的 rank 128 低秩更新和其余可训练模块,必须搭配已下载好的 Wan2.2-TI2V-5B 主干,并使用libero_easywam_unified_wan22_lora配方加载。
Q2:66.2% 的 LIBERO-10 成绩还有实用价值吗?取决于场景。对 Object 类简单任务,LoRA 版本性价比很高;但如果你面向长程组合任务,建议直接用全参数版本,或用更大 rank 重新训练。
Q3:为什么两个检查点要分开放?全参数版本自包含、开箱即评;LoRA 版本体积极小、下载快,但依赖外部主干——这是"性能上限"与"存储/传输成本"之间的权衡。
总结
| 维度 | 全参数 | LoRA (rank 128) |
|---|---|---|
| LIBERO 平均成功率 | 98.6% | 87.0% |
| 最大短板 | 无明显短板 | LIBERO-10(−31.8) |
| 是否需要外部主干 | 否 | 是 |
| 适用场景 | 资源充足、追求性能 | 显存受限、简单任务 |
一句话记忆:差距的 7 成来自 LIBERO-10,根源是 rank 128 的低秩容量扛不住长程任务的复杂推理。预算够就上全参数,预算紧且任务简单,LoRA 依然是高性价比之选。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考