• 人工智能
• 大模型
• 机器人
• 具身智能

cosmos3-nano-libero10-sdg-export-D2是一个开箱即用的机器人视觉-动作（VLA）策略模型：它由 NVIDIA 的 Cosmos3-Nano 基座模型在 LIBERO-10 仿真基准上后训练而成，标准场景成功率高达 93.9%。配合cosmos-framework的策略服务器（policy server），你只需 3 步就能把它部署成可推理的服务。🤖

这个仓库是什么？一句话看懂

这是一个训练检查点导出版本（export），不是完整的训练工程。它打包了：

• 📦7 个 bf16 safetensors 权重分片（EMA 权重，共约 30 GB、151.7 亿参数），由model.safetensors.index.json索引
• 🧠模型配置config.json：架构为Cosmos3OmniModel，启用动作生成（action_gen: true），基于 Qwen3-VL-8B 语言骨干 + 扩散动作专家
• 🔤分词器与视觉处理器：tokenizer.json、vocab.json、merges.txt、preprocessor_config.json、video_preprocessor_config.json，均由仓库自带的Qwen3VLProcessor处理输入
• 🧾导出元数据export_manifest.json 与 checkpoint.json：记录了导出来源、EMA 权重等加载信息

⚠️ 注意：训练数据不在本仓库分发。原始 LIBERO-10 数据在nvidia/LIBERO_LeRobot_v3，合成重风格数据需按官方 recipe 重新生成。

3 步部署策略服务器

第 1 步：克隆仓库，拿到完整权重

仓库权重较大（约 30 GB），建议预留充足磁盘空间。如果通过 Git 获取，记得先安装git-lfs并执行git lfs install，否则 safetensors 分片只会是 135 字节的指针文件：

git lfs install git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D2 cd cosmos3-nano-libero10-sdg-export-D2

克隆完成后核对一下文件清单是否齐全：7 个model-xxxxx-of-00007.safetensors分片、model.safetensors.index.json、config.json 以及各 tokenizer 配置文件。

第 2 步：准备环境并启动 cosmos-framework 策略服务器

1. 安装与本模型匹配版本的cosmos-framework（v1.2.2，commitc23e51f2），并确认已启用 GPU 支持；
2. 按cosmos-framework的策略服务器文档启动服务。该导出包的处理器（processor）已随仓库打包（见 export_manifest.json 中processor_source.bundled: true），因此无需额外下载 Qwen3-VL 的 processor 文件；
3. 启动时指向本仓库根目录作为模型路径，策略服务器会自动读取 config.json 中的架构定义（Cosmos3OmniConfig/Cosmos3OmniModel）和 checkpoint.json 中的加载参数（如use_ema_weights: true）。

💡 提示：模型为bfloat16精度，显存按约 30 GB 权重 + 推理开销预留；单卡显存不足时可按框架文档使用张量并行或 CPU offload 方案。

第 3 步：加载检查点并跑通第一个动作推理

1. 在策略服务器中加载本导出的检查点（7 分片由 index 文件自动合并加载）；
2. 送入 LIBERO-10 风格的机器人观测（图像/视频帧 + 指令），处理器会按 video_preprocessor_config.json 定义的patch_size: 16、temporal_patch_size: 2对视觉输入做切块与归一化；
3. 模型输出一段机器人动作（max_action_dim为 64，实际使用 LIBERO 的 7 维动作空间），驱动仿真器执行一步控制，即完成一次策略调用。

验证是否部署成功的简单标准：在 10 个 LIBERO-10 任务上各跑几局，成功率应接近 README 中报告的93.9%量级（具体数值以 README.md 为准）。

使用建议与注意事项

• 对比实验先读 recipe：官方提醒，本模型属于受控合成数据研究中的"D2 单元"，只有与对照单元（control cell）放在一起才具备解读意义，2.5 个百分点以内的差异在训练随机种子波动范围内。
• 扰动鲁棒性：在随机化光照、纹理、天空盒和相机抖动下仍保持 84.7% 成功率，说明该检查点对场景变化有一定泛化能力，可放心用于非固定场景测试。
• 文件溯源：想知道某一层权重在哪个分片里？打开 model.safetensors.index.json 的weight_map即可按张量名定位；训练时的覆盖参数（如关闭预训练权重加载）记录在 checkpoint.json 的experiment_overrides中。

常见问题（FAQ）

Q：这个模型和nvidia/Cosmos3-Nano基座模型有什么区别？A：基座是通用世界模型，本仓库是在 LIBERO-10 任务数据上后训练 1000 步（iteration 1000 → 2000，全局 batch 2048）得到的任务策略版本，可直接用于机器人动作推理。

Q：下载下来的 safetensors 只有 135 字节是怎么回事？A：说明没有正确拉取 Git LFS 文件。执行git lfs install后重新git lfs pull即可。

Q：为什么仓库里没有训练数据？A：数据体积大且需按官方 recipe 重放生成，官方仅分发模型权重与配置。原始演示数据请从nvidia/LIBERO_LeRobot_v3获取。

小结：cosmos3-nano-libero10-sdg-export-D2 提供了「克隆 → 启动策略服务器 → 加载验证」的最短部署路径。权重、配置、分词器全部随仓库打包，配合cosmos-framework的策略服务器，3 步即可把一个 LIBERO-10 成功率超 90% 的机器人策略跑起来。🚀

• 人工智能
• 大模型
• 机器人
• 具身智能