ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

(论文速读)P2P-Bridge:用扩散薛定谔桥实现真实噪声点云去噪

(论文速读)P2P-Bridge:用扩散薛定谔桥实现真实噪声点云去噪

论文题目:P2P-Bridge: Diffusion Bridges for 3D Point Cloud Denoising(P2P-Bridge:用于三维点云去噪的扩散桥)

会议:ECCV 2024

源码与预训练模型
GitHub - matvogel/P2P-Bridge: Official implementation of the ECCV 2024 paper Diffusion Bridges for 3D Point Cloud Denoising. · GitHub

摘要:本文研究点云去噪任务,提出一种新框架,将扩散薛定谔桥(Diffusion Schrödinger Bridge)适配到点集这样的非结构化数据上。不同于以往从点特征预测逐点位移或学习噪声分布的方法,本文学习成对点云之间的最优传输方案。在 PU-Net 等物体数据集以及 ScanNet++、ARKitScenes 等真实世界数据集上的实验表明,P2P-Bridge 相比已有方法取得了显著改进。尽管仅使用点坐标时就能获得较好的结果,作者进一步证明,引入 RGB 信息和逐点 DINOv2 特征还可以改善性能。


一、研究背景与核心问题

三维点云去噪的目标,是把扫描设备得到的带噪声点集变成更接近真实几何表面的干净点集。手机 LiDAR、RGB-D 扫描中不仅存在随机位置偏移,还会出现成簇离群点、虚影点、边缘扩散和表面增厚。传统滤波需要调参数;深度学习方法虽然能预测逐点位移,或通过 Score / Flow 学习噪声,但不少模型依赖人为添加的各向同性高斯噪声训练,因而不一定适应真实传感器的复杂误差。

这篇论文想解决两个问题:第一,能否不再预设真实噪声遵循简单高斯分布,而是直接从“真实带噪扫描—干净扫描”配对数据学习去噪?第二,扩散桥建立在有序变量之间,如何把它应用到没有固定点序的点云?作者的答案分别是数据到数据的 Schrödinger Bridge,以及先对齐点集再进行扩散插值。

二、整体框架:从带噪点云直接走向干净点云

论文 Figure 1:真实 LiDAR 扫描经迭代去噪前后的场景与误差图

Figure 1 展示了最终应用效果:输入是带有扫描误差的室内重建,输出仍是点云,但局部表面更加接近参考扫描。P2P-Bridge 做的是点云坐标去噪,而不是从点云生成 Mesh,也不是补全所有缺失物体。

论文 Figure 2:P2P-Bridge 的数据到数据扩散桥

普通生成式扩散模型往往从干净数据逐步加高斯噪声,最终连接到一个简单的高斯先验;逆过程再从随机噪声生成数据。P2P-Bridge 则把桥的两端直接设置为干净点云分布和真实带噪点云分布。图中的表示干净点云,表示带噪点云,是两者之间的中间状态。

整个流程可以概括为:配对干净/带噪点云 → 建立点对应关系 → 采样桥上的中间点云 → 训练去噪网络 → 从实际带噪点云迭代采样得到干净结果。训练需要配对数据,推理时不需要知道当前输入的干净真值。

这里要特别区分:不假设真实扫描噪声服从各向同性高斯分布,不等于扩散桥内部完全没有高斯随机变量。后者仍然用可解析的高斯桥后验构建训练过程,两者并不矛盾。

三、扩散薛定谔桥:为什么能直接连接两种点云

3.1 从 Schrödinger Bridge 到可训练的扩散过程

Schrödinger Bridge(SB)的基本思想是:已知起点与终点的数据分布,在满足两端分布约束的条件下,寻找与某个参考随机过程尽可能接近的传输路径。论文用表示干净端,用表示带噪端。一般 SB 涉及耦合的随机微分方程与偏微分方程,直接求解开销很大。

关键简化来自已配对的边界数据:训练集中有对应的。在论文采用的条件下,中间状态可以从解析的高斯桥后验采样:

其中,,g(t)控制扩散强度。本质上是干净点云与带噪点云的加权插值:接近 t=0 时更靠近干净端,接近 t=T 时更靠近带噪端。由于有解析式,训练时不用逐步求解昂贵的 SB 方程。

3.2 预测桥噪声,而不是直接分类噪声点

作者训练网络,预测中间点云相对干净端的归一化偏移,采用论文公式(5)的平方误差:

其中是从桥后验采样的中间状态,是干净训练目标,t是时间步。预测出后,可以估计,再通过 DDPM 式迭代采样逐步向干净端移动。

直观来看,网络没有逐点回答“这个点是不是离群点”,而是在配对监督下学习当前点云应该怎样整体移动,才能沿着已学到的桥接近干净点集。而且它的输出仍是一组点坐标,不需要额外估计法向或显式曲面。

四、关键设计:无序点云如何建立最优传输路径

4.1 不先匹配点,扩散插值就没有明确含义

这是论文真正值得注意的地方。图像的像素有固定位置,第 i 个像素通常可以和另一张图像的第 i 个像素插值;点云却是无序集合。同一个物体的两张扫描,即使各含 1000 个点,第 1 个点也完全不必表示同一位置。如果直接按数组下标计算,所谓的“中间点云”可能把不同表面位置胡乱连起来。

作者借鉴 PointMixup 的最短路径插值,在假设两组点数相同的情况下,求解一个一对一的双射匹配:

表示带噪点与干净点的配对方式,是所有可能的双射集合;优化目标是让总体运输距离尽可能小。这不是简单地让每个点独立寻找最近邻,因为独立最近邻可能导致多个点对应同一个点,而这里要求一对一的整体分配。得到后,重新排列干净点集,再进行逐点插值才有几何意义。

这一过程与最优传输(Optimal Transport)有关:它为两个无序点集建立低代价的对应关系,使桥上的路径不至于被任意点序破坏。在实际训练中,每组训练配对数据只需求解一次最优匹配,之后重复使用对齐结果,无需每个训练迭代重新解匹配问题。论文还讨论了在随机性趋小时,桥与 OT-ODE(最优传输常微分方程)之间的联系。

4.2 网络结构与语义特征怎样帮助去噪

论文 Figure 3:基于 PVCNN 的扩散去噪网络

网络借鉴 LION 与 PVCNN,结合点/体素卷积、SA/FP 层次特征、全局特征和低分辨率层的多头注意力;时间步通过正弦位置编码注入,另外用 Feature Embedding 映射输入特征。模型以局部空间 Patch 为单位处理点云,兼顾大型扫描的显存要求与空间对应关系。

除了 XYZ,作者还尝试加入 RGB 和 DINOv2 特征。RGB 来自扫描图像;DINOv2 先在图像中提取像素特征,再借助相机内参、位姿投影为逐点特征。其作用不是提供额外的真实几何标签,而是让网络除了空间坐标之外,还能利用颜色及较高层的图像语义线索。DINOv2 是性能增强选项,不是运行 XYZ-only 版本的必要条件。

五、实验结果与消融分析

5.1 数据集与评价方式

实验覆盖物体级与场景级两种难度。物体级使用PU-Net(40 个训练物体、20 个测试物体)和仅用于评估的PC-Net(10 个物体),通过 1%–3% 的各向同性高斯扰动构造输入;场景级使用ScanNet++与ARKitScenes,利用移动设备扫描作为带噪数据、Faro 激光扫描作为干净参考。这样既检验合成噪声下的性能,也检验更复杂的真实扫描误差。

主要指标是 Chamfer Distance(CD)和 Point-to-Mesh Distance(P2M),越低越好;场景表还拆分两个方向的 CD,以及 P2F、F2P,避免只用单向误差掩盖覆盖度问题。

5.2 物体级去噪:高噪声和未见物体表现如何

论文 Table 1:PU-Net、PC-Net 在不同点密度和噪声强度下的 CD / P2M

在 PU-Net 的 10k 稀疏点云、3% 噪声条件下,本文CD = 3.99、P2M = 1.42,而 ScoreDenoise 为 4.71 / 1.94,PD-Flow 为 5.19 / 2.52;在 50k 密集点云、3% 噪声下,本文达到1.56 / 0.84。PC-Net 作为未参与训练的评估集,也显示出相对较好的跨物体适应能力。不过在 PU-Net 的 1% 低噪声设置下,PD-Flow 的 CD = 2.13 优于本文 2.28,因此结论是多数设置,尤其较高噪声下更有优势,而非每一列均第一。物体实验的这些结果仅用3 步去噪获得。

论文 Figure 4:PU-Net 3% 高斯噪声下的物体去噪可视化

Figure 4 可以重点看动物表面的厚度与轮廓:P2P-Bridge 的点分布更贴近干净形状,噪声残留更少。定性图像支持 Table 1 的数值趋势,但不能仅凭一张图概括所有物体。

5.3 真实室内场景:数据到数据桥的价值

论文 Table 2:ScanNet++ 与 ARKitScenes 室内场景去噪,含 XYZ / RGB / DINO 特征比较

在 ScanNet++ 原始 Apple LiDAR 输入上,XYZ-only P2P-Bridge 的CD = 64.46,低于 ScoreDenoise 的 68.21;加入 RGB+DINO 后为64.44。在更具区分度的LiDAR + 3DMatch重建设置中,本文 XYZ-only 的 CD = 35.56,加入 RGB+DINO 后进一步降至34.88,而 I-PFN 为 52.31。ARKitScenes 的整体 CD 则从 XYZ-only 的 20.14 改善到 RGB+DINO 的19.92。这些数字显示:不依赖额外图像特征已经有效,视觉特征还能带来增益,但不同指标的提升幅度并不一致。

论文 Figure 5:ScanNet++(前三行)与 ARKitScenes(后两行)真实扫描的可视化比较

Figure 5 用绿到红的颜色展示与 Faro 参考扫描的距离。文章指出,使用简单高斯噪声训练的若干基线容易在 Patch 边界生成伪影或点聚集;P2P-Bridge 则通过对真实噪声建模,并对同一点的重叠 Patch 预测坐标求平均,减轻这种问题。需要保留的边界是:原扫描里缺失的物体结构,各种去噪方法都未必能补回来,因为去噪不等同于点云补全。

5.4 桥的核心消融:对齐与随机性哪个更重要

论文 Table 3:最短路径对齐与 OT-ODE 设置的消融

这是全文最能解释方法必要性的表。不做点集对齐时,CD / P2M 飙升到49.33 / 44.22;做好对齐但不采用 OT-ODE 设置时为2.45 / 0.73;两者同时采用时为2.11 / 0.65。这组对比表明:先把无序点集建立合理对应,是扩散桥可用的前提;在这一任务中,减少桥路径的随机性还能进一步提升效果。作者并未声称确定性路径永远更优,而是指出补全等多解任务可能反而需要随机性。

5.5 骨干网络、特征模块与采样步数

论文 Table 4:Minkowski、SetTransformer 与 PVCNN 骨干对比

在对应 ScanNet++ 消融设置中,PVCNN 的CD / P2M = 9.76 / 14.33,优于 SetTransformer 的 10.50 / 15.46 和 Minkowski 的 12.79 / 32.39。结果支持采用兼顾局部点特征与体素上下文的 PVCNN,但不代表 PVCNN 对所有三维任务都最好。

论文 Table 5:PVC Block、全局特征、SE、Feature Embedding 与通道数的结构消融

当基础通道数为 32、PVC Block 配置相同时,去掉 Feature Embedding,CD 从9.26变为9.76;增加到 64 通道并调整 Block 后,最优配置达到8.27 / 9.70。说明 Feature Embedding 有明确贡献,但扩大网络容量带来的整体收益更显著;不同层深的 Block 也并非等价。

论文 Figure 6:推理采样步数与 CD / P2M 的关系

Figure 6 显示,推理步数增加到约5–10 步时,多数指标已接近平台期,继续增加步数的收益有限。这与物体实验使用 3 步便能取得竞争性结果共同说明:P2P-Bridge 不依赖特别长的扩散采样链,但不同数据集、指标下的最佳步数并不完全相同。

六、总结与思考

如果把本文压缩成一句话:P2P-Bridge 把点云去噪建模为带噪点集与干净点集之间的数据到数据扩散桥,先通过最优一对一匹配为无序点建立合理插值路径,再训练网络沿桥逐步恢复干净点云。

它最有价值的设计不是简单“把扩散模型用于点云”,而是解决了两个更基础的问题:真实噪声的端点分布如何引入扩散过程,以及无序点集之间如何定义有意义的桥接路径。Table 3 直接证明匹配的重要性,Table 1–2 则显示这套方案既能处理合成噪声,也能用于真实移动扫描;RGB 与 DINOv2 进一步说明几何去噪可以受益于图像特征。

从方法设定上看,它的边界也很清楚:训练依赖对应的干净/带噪点云数据,点匹配要在配对数据上预计算;大场景需要 Patch 处理;不完整扫描中的缺失结构不能仅靠去噪解决。它提供的是一种利用真实扫描噪声监督、兼顾速度与精度的点云坐标恢复路线,而不是无需训练真值、无需对应关系的通用点云修复器。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进