文章主要内容总结本文提出了一种名为Argus的新型3D大型多模态基础模型（3D-LMM），旨在利用多视角图像增强大型语言模型（LLMs）对3D场景的理解能力。现有3D场景理解方法高度依赖3D点云，但室内场景的3D点云重建存在信息丢失问题（如无纹理平面或重复图案区域易被遗漏、复杂结构物体因图像与点云错位导致细节失真）。而2D多视角图像与3D点云具有视觉一致性，能提供更详细的场景信息，可弥补上述缺陷。Argus以文本指令、2D多视角图像和3D点云为输入，通过以下核心机制工作：设计融合模块，将多视角图像和相机姿态融合为“视图到场景特征（view-as-scene features）”；提出3D-aware Q-Former模块，促进3D特征与视图到场景特征的交互，生成包含全面细节的3D-aware场景嵌入；将融合后的场景表示投射到LLM的嵌入空间，辅助LLM生成响应。实验表明，Argus在3D问答（3D-QA）、3D视觉定位（3D-VG）、场景描述等下游任务中性能优于现有3D-LMMs。创新点提出Argus框架：作为首个有效结合2D多视角图像与3D点云的3D大型多模态基础模型，扩展了LLMs的3D场景理解与推理能力。设计融合机制：通过融合模块将多视角图像和相机姿态转化为视图到场景特征，并利用3D-aware Q-Former与3D特征交互，弥补了3D点云重建中的信息丢失。性能优势：实验证明，Argus在多种下游任务中表现优于现有3D-LMMs，且融合模块与3D- Argus: Leveraging Multiview Images for Improved 3-D Scene Understanding With Large Language Models
文章主要内容总结本文提出了一种名为Argus的新型3D大型多模态基础模型（3D-LMM），旨在利用多视角图像增强大型语言模型（LLMs）对3D场景的理解能力。现有3D场景理解方法高度依赖3D点云，但室内场景的3D点云重建存在信息丢失问题（如无纹理平面或重复图案区域易被遗漏、复杂结构物体因图像与点云错位导致细节失真）。而2D多视角图像与3D点云具有视觉一致性，能提供更详细的场景信息，可弥补上述缺陷。Argus以文本指令、2D多视角图像和3D点云为输入，通过以下核心机制工作：设计融合模块，将多视角图像和相机姿态融合为“视图到场景特征（view-as-scene features）”；提出3D-aware Q-Former模块，促进3D特征与视图到场景特征的交互，生成包含全面细节的3D-aware场景嵌入；将融合后的场景表示投射到LLM的嵌入空间，辅助LLM生成响应。实验表明，Argus在3D问答（3D-QA）、3D视觉定位（3D-VG）、场景描述等下游任务中性能优于现有3D-LMMs。创新点提出Argus框架：作为首个有效结合2D多视角图像与3D点云的3D大型多模态基础模型，扩展了LLMs的3D场景理解与推理能力。设计融合机制：通过融合模块将多视角图像和相机姿态转化为视图到场景特征，并利用3D-aware Q-Former与3D特征交互，弥补了3D点云重建中的信息丢失。性能优势：实验证明，Argus在多种下游任务中表现优于现有3D-LMMs，且融合模块与3D- RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
