ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

【VLN】SpatialAnt主动重建与视觉预见

【VLN】SpatialAnt主动重建与视觉预见

一句话定位

相对 SpatialNav:不再假设完美点云,让机器人主动探索 + 单目重建 + 尺度校正,再把脏点云变成「走某路会看见什么」的渲染,供 MLLM反事实选路。

背景概念

术语白话
Reality gap(本文)数据集干净重建 vs 真机 egocentric 吵重建
Physical grounding把单目 SLAM 相对尺度对齐到真实米制
Visual anticipation从点云渲染候选动作的未来画面
Counterfactual reasoning「如果走左边会看到什么」→ 剪掉与指令矛盾的路径

论文在干什么

痛点:SpatialNav 类方法依赖高质量重建;真机只有单目时尺度模糊,重建又不完整——把脏图当绝对地图会崩。

三阶段:

  1. Active scene discovery(frontier + 可见性扫描路径,采 RGB/IMU)
  2. Physically-grounded reconstruction(neural SLAM → Depth-Anything 定标 → 全局拼接)
  3. Anticipation-guided navigation(渲染未来观测 → MLLM 子路径推理)

结果(文摘):R2R-CE SR 66%、RxR-CE 50.8%;Hello Robot 真机约 52% SR。

和 SpatialNav 的思想差

SpatialNavSpatialAnt
图从哪来干净/标注级点云自建吵点云
图干什么SSG 当知识库查布局/物体当渲染底座做视觉预见
关键词结构化语义尺度接地 + 反事实预见

要点总结

  1. 系列第二问:脏重建怎么办。
  2. 答案不是「建更完美的 SSG」,而是别盲信坐标,用预见画面剪枝。
  3. 真机闭环:探索→重建→预见→执行。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进