论文题目：Sonata: Self-Supervised Learning of Reliable Point Representations（Sonata：可靠点云表征的自监督学习）
会议：CVPR 2025
源码
GitHub - facebookresearch/sonata: [CVPR'25 Highlight] Official repository of Sonata: Self-Supervised Learning of Reliable Point Representations · GitHub
摘要：本文探讨一个问题：是否存在一种可靠的点云自监督模型，即使在数据有限、计算资源较少的条件下，也能通过简单的线性探测服务于不同的三维任务？我们发现，现有三维自监督学习方法在采用线性探测评估表征质量时表现不足。我们推测，原因在于所谓的“几何捷径”（geometric shortcut）：它使表征退化为低层次的空间特征。这是由点云数据的稀疏性引发的三维领域特有挑战。为此，我们采用两项关键策略：模糊空间信息、增强模型对输入特征的依赖，并通过自蒸馏整合约 14 万份点云数据，构建 Sonata。Sonata 简单且直观，却能学习到强大而可靠的表征：零样本可视化展现了语义聚类能力，最近邻关系则表明模型具备较强的空间推理能力。Sonata 在参数效率和数据效率方面表现突出：ScanNet 上的线性探测准确率从 21.8% 提升至 72.5%，达到此前方法的三倍以上；在仅使用 1% 数据的情况下，相比以往方法，性能接近翻倍。完整微调进一步刷新了室内和室外三维感知任务的最优结果。
一、研究背景与核心问题
1.1 点云自监督学习，缺的不是预训练任务，而是可靠表征
图像领域的 DINO 系列证明：冻结编码器、仅训练线性头，也能获得有意义的语义预测。点云领域却有明显落差。此前 PointContrast、MSC 等方法虽然能在微调后改善下游任务，但冻结编码器进行 ScanNet 语义分割线性探测时，PointContrast 只有 5.6% mIoU，基于 PTv3 的 MSC 也只有 21.8%；作为参照，PTv3 从头训练可达到 77.6%。这说明下游微调有效，不代表冻结特征本身有足够语义。
论文 Figure 1：Sonata 的五个主要性质——感知性能、自蒸馏、线性探测、语义感知与空间推理
Figure 1 强调：除微调成绩外，更要考察冻结表征的语义可分性、点间对应与跨任务可用性。作者因此将线性探测作为可靠性标准。
1.2 几何捷径：模型学会了“位置”，却没有学会“语义”
论文 Figure 2：以沙发扶手上的点为查询点，对比 CSC、MSC 与 Sonata 的特征相似度
Figure 2 非常直观：CSC 的相似度主要反映表面法向，MSC 容易依赖点的高度，而 Sonata 能把不同位置的沙发扶手关联起来。前两者看似完成了特征匹配，实际上可能只是在使用便宜且易得的几何线索。作者将这种现象称为Geometric Shortcut（几何捷径）。
论文 Figure 3：移除输入特征后，二维图像与三维点云的信息残留差异
为什么三维问题更突出？二维图像去除像素特征后，规则网格通常不暴露场景内容；点云去除颜色等特征后，坐标仍保留物体形状。点云算子又必须利用这些坐标组织邻域，因此“遮住特征”并不等于“遮住几何”。这解释了为什么模型可以迅速降低自监督损失，却未真正形成高层语义表征。
二、Sonata 的整体框架：让困难视图向稳定教师学习
论文 Figure 5：Sonata 的教师—学生自蒸馏流程
Sonata 使用 PTv3 作为主干，并采用非对称的教师—学生结构。训练时，对同一个场景执行空间裁剪、旋转、形变及颜色增强，生成2 个全局视图、4 个局部视图和 2 个掩码视图。其中，全局视图由教师编码；信息更少的局部视图、掩码视图由学生编码。论文实际采用的全局采样范围为场景点数的 40%–100%，局部采样为 5%–40%。
关键不是直接比较两组无序点，而是依据增强前的原始空间位置寻找对应点，再要求学生在信息不足时预测教师给出的表征分布。Figure 5 中的蒸馏项可用交叉熵形式示意（不代表完整损失）：
这里的与
分别表示对应点经教师、学生分支得到的预测分布，k表示分布维度。学生需要让自己的预测接近教师，而教师参数通过学生参数的指数移动平均（EMA）更新，提供相对稳定的学习目标。训练还借鉴 DINOv2，采用 Sinkhorn–Knopp 分布中心化、KoLeo 正则化和聚类分配机制，避免仅靠简单对比点对或重建预设几何属性。
整个过程是：完整视图提供目标 → 局部／遮挡视图制造信息缺口 → 对应点自蒸馏逼迫学生寻找更概括性的线索。但只提高难度不够，网络若仍能读取精细坐标，捷径便仍然存在。
三、核心设计：减少坐标捷径，同时保留多尺度信息
3.1 去掉 Decoder：在较粗尺度上学习，而非回到原始点分辨率
论文 Figure 4：层次化主干中，Encoder 与 Decoder 各阶段的 PCA 特征对比
传统点云 U-Net 通过上采样与跳跃连接恢复点级特征，虽利于监督分割，却使自监督目标重新接触局部坐标。Figure 4 显示，编码器不同尺度的特征更分散、多样，解码器输出则逐渐向特定任务需要的结构集中。Sonata 因此在预训练阶段直接移除分层 Decoder，只对较粗尺度的 Encoder 特征施加蒸馏约束。
它减少参与蒸馏的点数，将特征维度从 96 提至 512，并通过分层池化扰动局部坐标关系。后续消融证明，这一步远比普通结构精简重要：ScanNet 线性探测 mIoU 从 20.7% 跃升至 60.4%。需要注意，Decoder-free 指的是预训练框架；下游仍然可以按需添加解码器或进行完整微调。
3.2 无参数 Feature Up-casting：取回多尺度上下文
去掉 Decoder 也会损失细节及跨尺度上下文。Sonata 采用Feature Up-casting进行补偿：沿编码时保存的池化映射，将粗尺度特征逐级映射回前一层，并与该层特征拼接。它不需要额外学习一个解码网络，却能同时利用粗层的语义上下文和较细层的信息。
关键在于控制回传深度。回传太少，信息不充分；回传太多，又会重新暴露局部几何捷径。Figure 6 中，两次 up-casting 的线性探测结果为 63.1%，优于一次的 62.6% 和三次的 57.1%。这说明多尺度细节并非越多越好，表征丰富度与几何泄漏之间需要权衡。
3.3 Masked Point Jitter：重点打乱被遮挡点的空间线索
普通增强对点坐标施加标准差为 0.005 的高斯扰动；对输入特征被掩码的点，Sonata 使用更强的 0.01 扰动。因为这些点无法依赖自身特征，模型最容易退回到空间坐标寻找答案。针对性地扰乱其几何布局，可以削弱这种捷径，而不必把整个场景坐标全部破坏。
3.4 Progressive Scheduler：让任务难度随训练逐步增加
作者没有一开始就使用极端遮挡，而是在前 5% 的训练进程中，将mask size 从 10 cm 增至 40 cm、mask ratio 从 30% 增至 70%。这样先建立特征依赖，再提高难度，避免一开始就迫使模型依赖廉价几何线索。教师温度也逐步由 0.04 增至 0.07，权重衰减由 0.04 增至 0.2，配合 EMA 稳定训练。
四、规模化预训练与评价协议
论文 Table 1：Sonata 预训练数据的来源及划分
数据规模同样重要。Table 1 显示，Sonata 汇集 ScanNet、ScanNet++、S3DIS、ARKitScenes、HM3D、Structured3D 与 ASE 等真实和仿真场景，总量约 14 万份点云。自监督训练不依赖语义标签，减少了对人工标注规模的限制。
论文 Table 2：不同点云预训练方法使用的数据量对比
与 PointContrast 相比，Sonata 的场景规模约为86.7 倍，相较 PPT 约为 5.9 倍。训练端同时将 PTv3 编码器扩大至约 1.08 亿参数，并用 Layer Normalization 替代 Batch Normalization，改善多数据集联合训练的适配性。论文报告训练共 200 个 epoch，使用 32 张 GPU、总 batch size 为 96。这里的“参数高效”主要指下游适配时可冻结大部分参数，并不意味着大规模预训练本身不需要计算资源。
评价时作者明确区分三种协议：Linear Probing冻结编码器，只训练不足总参数 0.2% 的线性层；Decoder Probing冻结编码器，仅训练约 13% 参数的轻量 Decoder；Full Fine-tuning解冻完整下游网络。三者分别衡量表征直接可用性、轻量适配能力与完整任务性能，不能混为一谈。
五、实验结果与消融分析
5.1 参数效率：冻结特征能否直接分割？
论文 Table 5：ScanNet、ScanNet200、ScanNet++ 与 S3DIS 上的参数效率对比
这张表直接检验论文主张。在 ScanNet 语义分割上，MSC 使用 PTv3 时的线性探测只有21.8% mIoU，Sonata 达到72.5%，约为前者的 3.3 倍；只训练 Decoder 则达到 79.1%。在 S3DIS Area 5 上，Sonata 线性探测也达到 73.4%。可见无需更新主干，预训练表征就有较强语义。不过 ScanNet200、ScanNet++ 这类类别更细、类别数更多的数据集仍较难，表明表征的细粒度类别区分能力并未完全解决。
5.2 与 DINO 特征互补：点云并非只是图像的低配版本
论文 Table 3：Sonata 与 DINOv2／DINOv2.5 的线性、Decoder 探测及特征融合对比
图像特征通过相机位姿与深度信息映射到点云后，DINOv2 在 ScanNet 上的线性探测为63.09% mIoU，Sonata 为72.52%。将 Sonata 与 DINOv2.5 特征结合，还能达到76.44%；ScanNet200 的融合结果为 36.96%，高于 Sonata 单独使用时的 29.25%。这说明纯三维训练得到的信息不是图像特征的简单重复，跨模态融合存在明确收益。
论文 Figure 7：DINOv2、Sonata 及其融合特征的零样本 PCA 可视化
Figure 7 给出了定性解释：DINOv2 更擅长纹理、颜色等视觉细节，Sonata 更能区分空间结构，两者融合后表现出更好的整体一致性与局部细节。因此，Sonata 的优势是补足三维结构理解，而不是完全取代二维视觉基础模型。
5.3 数据效率：标注不足时收益更加明显
论文 Table 4：有限场景比例与每场景有限标注点数下的 ScanNet 语义分割
只有1% 训练场景时，PTv3 从头训练得到 25.8% mIoU，Sonata 完整微调达到45.3%，提升 19.5 个百分点；即便只做线性探测，也有 43.6%。当每个场景仅提供 20 个标注点时，Sonata 完整微调为 70.5%，高于从头训练的 60.1%。这说明预训练在标注稀缺时尤其有价值。
5.4 下游泛化：室内语义、实例与室外激光雷达
论文 Table 6：室内语义分割的完整微调性能
完整微调后，Sonata 在 ScanNet 达到79.4% mIoU，在 S3DIS 6-fold 达到82.3%，ScanNet200 与 ScanNet++ 分别为 36.8% 和 43.7%。这验证了它不仅适合线性探测，也能成为常规点云分割网络的有效初始化。
论文 Table 7：ScanNet、ScanNet200、ScanNet++、S3DIS 的室内实例分割对比
在实例分割上，Sonata 完整微调于 ScanNet 的mAP50 为 63.9%，ScanNet200 的 mAP50 为35.6%。冻结编码器、仅训练线性头时，ScanNet 仍有 53.9% mAP50，表明特征还含有实例区分信息。
论文 Table 8：nuScenes、Waymo、SemanticKITTI 室外语义分割结果
Sonata 将同一预训练思路迁移至室外 LiDAR，通过这三个室外数据集的联合训练，在完整微调后分别取得81.7%、72.9%、72.6% mIoU，高于表中的监督预训练 PPT 基线。这里应区分“方法可迁移到室外”与“一个权重直接统一覆盖室内室外”：论文采用了面向室外数据的联合预训练，并未完成真正的室内外统一模型。
5.5 逐步消融：提升究竟来自哪里？
论文 Figure 6：从 MSC 到 Sonata 的逐步设计与规模扩展消融路线
Figure 6 比简单的“去掉模块性能下降”更有解释力。把 MSC 改为教师—学生蒸馏、加入局部视图后，线性探测也只有20.7%；移除 Decoder便跃升至60.4%，说明真正的瓶颈是几何信息泄漏。此后适量 up-casting、masked point jitter、渐进式遮挡策略进一步改善性能；最后叠加 LN、学习率／权重衰减调整、14 万数据及更大模型，最终达到72.5%。因此，突破主要先来自表征学习位置与几何捷径的处理，而最终上限又受益于训练规模。
六、总结与思考
Sonata 最值得记住的并非某个单独的网络模块，而是一个评估与设计思路：不要只问自监督预训练能否帮助完整微调，更要问冻结后的点特征本身是否包含可直接利用的语义。点云的坐标既是不可或缺的结构信息，也是潜在捷径；在粗尺度施加目标、针对性扰动掩码点，并逐步增加任务难度，能让网络减少对低层几何线索的依赖。
论文也明确指出了后续方向：借助更多对象级数据强化细粒度语义，探索室内室外统一预训练，利用视频生成的点云继续扩展数据，并通过跨模态蒸馏结合 Sonata 与 DINOv2。从方法设定上看，模型仍依赖大规模预训练，且复杂类别集合上的线性探测与完整微调存在差距。因此，Sonata 的贡献是让可靠的三维基础表征更进一步，而不是宣称线性探测已经在所有任务上替代完整微调。
