ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

EasyWAM-Unified-Wan22全参数与LoRA检查点全面对比:98.6%与87.0%成功率差距从何而来

EasyWAM-Unified-Wan22全参数与LoRA检查点全面对比:98.6%与87.0%成功率差距从何而来

EasyWAM-Unified-Wan22全参数与LoRA检查点全面对比:98.6%与87.0%成功率差距从何而来

EasyWAM-Unified-Wan22 是基于 Wan2.2-TI2V-5B 构建的统一「世界-动作模型(World Action Model)」检查点,用于机器人操作策略的训练与评测。本文基于 LIBERO 仿真基准的真实数据,逐项拆解全参数检查点 98.6%与LoRA 检查点 87.0%的成功率差距从何而来,并给出新手选型建议。

先搞懂:EasyWAM-Unified-Wan22 是什么?

用一句话概括:它让一个视频生成模型(Video DiT)同时干两件事——预测未来画面(视频 token)和输出机器人动作(action token)。两个模态通过同一组自注意力层双向耦合,实现"看得懂世界,也动得出手"。

关键设定一览:

配置项说明
基础模型Wan2.2-TI2V-5B(5B 参数视频 DiT 主干)
训练框架EasyWAM 代码库
状态 token 放置state_position: sequence
全参数检查点libero_unified_wan22.pt
LoRA 检查点libero_unified_wan22_lora_128.pt(rank 128,alpha 128)
归一化统计libero_dataset_stats.json

💡LoRA 是什么?简单说就是不更新主干网络的全部参数,只训练少量低秩矩阵,显存开销小得多,但表达能力受限。这正是后文差距的来源。

LIBERO 成功率对比:全参数 vs LoRA 完整数据

以下数据来自 README.md 中 EasyWAM 官方 LIBERO 评测协议(4 个套件,每任务 50 次试验,数值越高越好,🔥 为本仓库架构):

全参数(Full-Parameter)

模型SpatialObjectGoalLIBERO-10平均
🔥 EasyWAM-Unified98.498.899.298.098.6
EasyWAM-MoT97.099.296.694.096.7
EasyWAM-MoT-Joint98.298.097.696.897.7
EasyWAM-MoT-IDM99.099.298.897.498.6
EasyWAM-Hidden99.2100.097.898.298.8

LoRA(Rank 128)

模型SpatialObjectGoalLIBERO-10平均
🔥 EasyWAM-Unified91.298.891.866.287.0
EasyWAM-MoT96.899.697.490.095.9
EasyWAM-Hidden98.099.889.486.693.5

差距拆解:11.6 个百分点究竟丢在哪?

把两个检查点的 EasyWAM-Unified 成绩逐套件相减,结果非常直观:

套件全参数LoRA差值
Spatial98.491.2−7.2
Object98.898.80.0
Goal99.291.8−7.4
LIBERO-1098.066.2−31.8
平均98.687.0−11.6

📊结论先说:约七成(31.8/4 ≈ 7.95 分,占平均差距的 68.5%)的差距来自 LIBERO-10 一个套件。Spatial 和 Goal 各损失 7 分左右,而 Object 套件纹丝不动。

为什么 LIBERO-10 掉得最惨?

LIBERO-10 是任务组合更复杂、步骤更长的套件,对长程时序推理和精细动作协调要求最高。LoRA 只允许低秩(rank 128)的更新,相当于给主干网络戴上了"紧箍咒":

  • Object 类任务动作结构简单、目标单一,低秩更新足以近似 → 98.8% 不掉分;
  • LIBERO-10 类任务需要主干在时空注意力上做出更精细的改动,rank 128 的表达容量不够用 → 66.2% 大幅下滑。

这就是"参数高效微调在长程、组合性任务上更容易露怯"的典型例子。

一个容易被忽略的发现

注意 LoRA 表格内部对比:同是 rank 128,EasyWAM-Unified 平均87.0,反而低于 EasyWAM-MoT 的95.9和 EasyWAM-Hidden 的93.5。也就是说,在有限参数预算下,"视频+动作统一建模"的 Unified 架构损失最大。如果你的显存只够跑 LoRA,且任务偏长程,这一点值得作为选型参考。

全参数还是 LoRA:新手选型指南

你的情况建议预期成功率
显存充足,追求极限性能全参数检查点98.6%
显存有限,任务偏 Object 类(抓取/摆放)LoRA 完全够用Object 仍达 98.8%
显存有限,但必须完成 LIBERO-10 长程任务LoRA 风险较高,优先升级显存仅 66.2%

下载与评测:两步上手

第一步,下载检查点:

hf download OpenMOSS-Team/EasyWAM-Unified-Wan22 \ libero_unified_wan22.pt \ libero_unified_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

第二步,在 EasyWAM 中运行评测(两个检查点使用不同的 task 配方,切勿混用):

# 全参数 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22 \ ckpt=./checkpoints/libero_unified_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22_lora \ ckpt=./checkpoints/libero_unified_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

⚠️新手最容易踩的坑:LoRA 检查点不包含完整的 Wan2.2 主干权重,加载或评测前必须先下载 Wan2.2-TI2V-5B 主干并配置好路径(参见 EasyWAM 官方的 Wan2.2 backbone 指南)。此外,[libero_dataset_stats.json](https://gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22/blob/794bd9bf249090e2336a0a1534eb43ac8eb69593/libero_dataset_stats.json?utm_source=gitcode_repo_files)保存了 state/action 的均值、标准差等归一化统计,推理时必须传入,否则动作尺度会错乱。

附:LIBERO-Plus 鲁棒性参考(仅全参数)

官方还报告了全参数检查点在 LIBERO-Plus 扰动基准上的表现(背景、相机、光照、噪声等 7 类扰动),Unified 平均79.0为同组最高,但最弱项是Camera(54.8)——对相机视角变化最敏感。如果你在真实部署中会更换相机位姿,建议重点压力测试这一项。

常见问题

Q1:LoRA 检查点可以直接加载吗?不可以。它只包含主干的 rank 128 低秩更新和其余可训练模块,必须搭配已下载好的 Wan2.2-TI2V-5B 主干,并使用libero_easywam_unified_wan22_lora配方加载。

Q2:66.2% 的 LIBERO-10 成绩还有实用价值吗?取决于场景。对 Object 类简单任务,LoRA 版本性价比很高;但如果你面向长程组合任务,建议直接用全参数版本,或用更大 rank 重新训练。

Q3:为什么两个检查点要分开放?全参数版本自包含、开箱即评;LoRA 版本体积极小、下载快,但依赖外部主干——这是"性能上限"与"存储/传输成本"之间的权衡。

总结

维度全参数LoRA (rank 128)
LIBERO 平均成功率98.6%87.0%
最大短板无明显短板LIBERO-10(−31.8)
是否需要外部主干否是
适用场景资源充足、追求性能显存受限、简单任务

一句话记忆:差距的 7 成来自 LIBERO-10,根源是 rank 128 的低秩容量扛不住长程任务的复杂推理。预算够就上全参数,预算紧且任务简单,LoRA 依然是高性价比之选。

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进