先说一个业内普遍的感受：3D资产生成从“能出图”进化到“能出模型”，这两年最大的变量就是扩散模型。图像领域里Diffusion已经把生成质量拉到了一个以前不敢想的高度，但真轮到3D资产生成时，直接照搬那套方法论完全不行——数据量差着几个数量级，表示形式五花八门，显存和算力消耗更是另一个世界。3D-Diffusion这类工作的价值，就在于它尝试把“数据规模换质量”这条扩散模型的黄金路线，真正搬到三维世界里。这篇内容解析会围绕几个我判断对工程落地最有价值的问题展开：3D扩散模型到底在生成什么、它凭什么实现可扩展、网络和训练怎么设计、复现时要避哪些坑。想把手上的三维重建、生成式建模或者自动化资产管线往前推一步的同学，应该能从里面找到比论文更贴近实操的解读。

1. 项目定位与整体设计思路

1.1 3D资产生成为什么是硬骨头

要理解这项工作的贡献，得先明白3D资产生成和2D图像生成的本质差异在哪里。

2D图像生成能成功，很大程度上归功于“数据和表示的统一”。爬虫抓取几天就有上亿张图像，压缩成像素网格之后结构整齐划一，卷积网络和Transformer都能直接处理。但3D资产完全不是这么回事：公开数据集的规模满打满算也就几十万量级，还没法等比缩小。更麻烦的是格式极度不统一——有扫描重建的网格、有手工建模的CAD模型、有点云、有带材质和不带材质的，拓扑、尺度、面片数全都不一样。

还有一个更底层的问题：计算机根本没有一个“普适的3D表示”。图像天然是二维矩阵，但3D形状可以用体素、点云、三角网格、隐式场来表示，每一种都有自己的一套优缺点。所以3D生成模型首先面对的是一个“表示选择”难题，这决定了后面所有的网络结构、损失函数和训练流程。我认识的一些同行刚上手时习惯性把2D的UNet换成3D卷积直接训练体素，结果就是生成结果发糊，分辨率一提上去显存直接爆炸。这不是算法不行，是表示和架构不匹配。

3D-Diffusion这类工作把“可扩展性”当作设计的第一性约束，而不是训练之后再来反思，这个立场我认为是它最值得学习的地方。它的目标不是在小数据集上讲一个玩具故事，而是找到一条能靠算力和数据规模堆出质量的路。

1.2 从“数据表示”出发的方案选型

方案选型本质上是一次关于3D表示的艰难权衡。我根据自己的实践，把几个主流候选梳理成一张对比表。

从扩散模型的视角看，最关键的需求是“能定义一个连续的高斯加噪过程”。三角网格是离散的组合结构，点云是带噪声的无序集合，都不好直接套标准的DDPM框架。隐式场不一样：你只要把三维空间采样成一个个点，每个点对应“该位置是否被占用”或者“到最近表面的有符号距离”，形状就变成了一组“坐标—数值”对，扩散模型的加噪和去噪就在这个场上进行，训练目标非常干净。

这里有一个工程判断我觉得特别重要：如果选占用场这类表示，网络就不需要直接处理复杂的表面拓扑，它只是预测每个三维点是实体还是空白。看起来绕了一步，实际上大大降低了生成任务的难度。我这个实践下来，暂时没有找到比隐式场更适合扩散范式起步的表示方式。

1.3 扩散模型在3D上如何重新建模

到这一步，整体框架就比较清楚了：扩散模型的核心逻辑都没变，变的只是它所作用的对象从二维像素矩阵换成了三维采样场。

你可以把空间划分成比如128×128×128的网格，每个采样点有一个占用值，然后把所有点的值拉成一个长向量当作扩散模型的输入。前向过程往这个向量上逐步加高斯噪声，反向过程从一个纯噪声场开始逐步去噪，最终恢复成有意义的形状场。这跟图像DDPM在数学上没有本质区别，噪声调度、目标函数都能沿用成熟的经验。

但3D域里有一个2D完全没有的工程问题：场的规模大得吓人。一个256³的场，单通道，就有一千六百多万个元素，比224×224×3的彩色图像还要高出两个数量级。直接对这么长的向量做扩散，无论是显存还是计算量都不可接受。所以设计上必须有压缩手段，要么分块训练，要么先用一个自编码器把高维场压成紧凑的潜码，再在潜空间上做扩散。这也是后面整个3D生成方向演进的伏笔：潜空间扩散的思路，几乎是从这里开始扎根的。

我自己的理解里，3D-Diffusion最核心的贡献并不是发明了一个新范式，而是把扩散模型从一个不适合直接处理的离散表示里拉出来，放到了一个连续但相对紧凑的空间里，这才让“堆数据和算力就能提升质量”这件事在3D领域变得有一点点可能性。

2. 核心机制与关键技术拆解

这一章拆几个决定工作成败的核心机制，论文里往往是公式带过，实际工程里全是坑。

2.1 前向与反向扩散过程的3D化

前向过程很简单。给定一个3D场x_0，按照预设的噪声调度表β_t，每一步执行标准的高斯扩散：

q(x_t | x_{t-1}) = N(x_t; sqrt(1−β_t) x_{t-1}, β_t I)

形式上看和图像扩散没有任何区别，只是x_t的尺寸变成了三维场。因为场的每个坐标都是独立被采样和预测的，所以网络本质上学习的是一个形状的概率分布，而不是记忆某个固定形状。

反向过程也是标准套路：训练一个去噪网络ε_θ，让它尽可能准确地预测每一步注入的噪声，损失函数是最小化预测噪声和真实噪声之间的均方误差。这里我喜欢用一个“刮油漆”的类比来解释：前向相当于把一尊雕塑不断泼上油漆，直到完全糊成一块纯色立方体；反向过程就是让网络学着从纯色立方体出发，一步步把油漆刮掉，直到露出雕塑的轮廓。每一步只需做微小的修正，所以比一口气猜出整尊雕塑要稳定得多。

实际训练时扩散步数T的选择要非常小心。T越大，每步的去噪任务越简单，训练越稳，但训练和推理开销都线性上涨。3D域里的网络推理本来就重，所以我见过不少工程实现会把采样步数压到100步甚至50步，配合DDIM这类确定性采样，质量上基本能逼近1000步的结果，这算是实用派和原教旨派的一个明显分界。

2.2 网络架构：从UNet到3D稀疏卷积

网络骨架层面，最常见的做法是把2D UNet做3D化移植：编码器逐级下采样，中间是若干分辨率层，解码器上采样，配上skip connection，卷积替换成3D卷积，归一化层用GroupNorm这类与batch大小无关的方案。移植的代码难度本身不高，真正的瓶颈在算力分配。

三维卷积的复杂度跟分辨率之间是立方关系。256³的场直接用全稠密UNet训练，单张中高端卡根本跑不动。我见过的主流缓解方案有两条路。

第一条是降低训练分辨率，先用128³甚至64³把模型训出来，推理后再通过超分辨率模块或后续细化提升细节。优点是实现最简单，缺点就是高频几何细节容易丢，生成出来的模型总觉得“肉肉的”，棱角不够分明。

第二条是借力稀疏化。因为3D场里绝大多数体素是空的，可以只对非空区域做计算，配合稀疏卷积实现，内存和计算量能省一到两个数量级。这个方法的效果很诱人，但代码复杂度高，数据预处理和工程链路都要跟着改造，对开发周期要求高。

我给一个实用建议：想快速理解这套流程，先用128³稠密体素跑通一个demo；想逼近论文的生成质量或者做大类别训练，再考虑引入稀疏卷积。不要一开始就被显存瓶颈吓退，先求跑通，再求优化。

2.3 条件生成与生成的“入口”

现在的主流3D生成论文几乎都会把条件生成作为核心feature，原因很现实：无条件生成的价值有限，游戏、影视、仿真场景都需要可控的生成入口。常见的条件类型可以归成三类：

• 类别标签：最简单，把类别embedding拼进网络即可，适合数据集规模有限时的入门实验。
• 文本描述：用CLIP或类似编码器把文本转成向量，然后通过cross-attention注入到UNet的特征层，这是在图像生成里被验证过的成熟方案。
• 图像条件：给定单张或多视角图，生成对应的3D模型，这是“图片生成3D”pipeline的核心，也是最贴近实际设计流程的条件类型。

条件机制在3D和2D之间是高度共通的。如果你已经理解了Stable Diffusion里怎么做文本条件的cross-attention，那迁移到3D扩散模型上几乎没有学习成本。唯一要额外注意的是条件编码器对3D数据的适配度：大量3D数据集没有现成的文本标注，经常需要先用预训练视觉模型自动生成描述，或者退而求其次用类别标签混着用。我在做数据准备时体会很深：数据清洗和条件标注的质量，往往比模型结构更能决定最终生成效果的上限。

2.4 训练损失与采样策略里的细节

3D扩散模型的损失函数核心是噪声预测的MSE，这一点跟图像域完全一样。但工程实现里有几个容易被忽略的细节，我一个个说。

时间步embedding要加够。3D模型的参数量比2D更大，对时间步的感知更容易失效，建议使用正弦位置编码，并且在每个下采样块和上采样块里都注入，不要只在入口加一次。

噪声调度表要自己调。我对比过线性调度和cosine调度，在3D场数据上cosine明显更稳，梯度方差更小。如果你发现loss下降正常但生成结果总是一片空白或一片噪声，大概率是β调的不对，尤其要注意β最大值别设太大。

EMA必须开。3D训练每个batch的方差比图像大得多，指数移动平均能显著稳定生成质量。这是2D那边早就验证过的经验，到了3D场景里依赖程度只会更深，不开EMA的模型训练曲线会抖得让你想骂人。

采样阶段，纯DDPM采样虽然理论正确，但每步都要过一遍大网络，慢得无法接受。强烈建议用DDIM或类似确定性加速采样，我在实验里发现几乎不掉点，推理时间能降到原来的十分之一左右。

3. 可扩展性设计从哪几个维度落地

标题里“Scalable”不是随便放的装饰词。真正落地的可扩展性，至少要拆成三个维度来理解。

3.1 数据规模的可扩展

可扩展性的第一个要求是模型不能只“记住”某个小数据集，而要能从持续增长的数据中学习新规律。这要求数据表示、网络结构、训练策略都能对新增样本、新增类别自然适配，而不是一加数据模型就崩溃。

我在实际项目中体会最深的一点是：数据清洗的优先级要远高于数据量。3D数据集里的网格经常有尺度不统一、坐标系错乱、内部结构残留、孔洞未封闭等问题。做场表示之前，一定要做归一化对齐流程：把所有模型缩放到单位立方体，质心对齐到坐标原点，必要时统一朝向，再做表面采样和水密化预处理。不做这一步，训练过程中你会发现生成结果里充斥着大量“半残”形状，像是从非常糟糕的训练样本里直接学坏了。

3.2 分辨率与类别的可扩展

分辨率可扩展在这个方向上的常见做法是先低后高的课程式训练。比如先在64³或128³的低分辨率下让模型学会整体的结构布局，再逐步上采样到256³。这种两阶段训练比端到端的一次性高分辨率训练稳定得多，也不容易碰到训练初期就显存不足的尴尬。

类别覆盖度是另一个判断可扩展性的好标准。很多3D生成模型在单一类别上效果很好，比如只生成椅子时有模有样，但一旦混合到家居场景、机械零件、人体模型这些跨类别数据里，就开始串类别。一个架构是否真的可扩展，就看当训练类别从10个扩展到100个时，平均生成质量有没有明显下滑。下降幅度小的，才是真正能规模化的架构。

3.3 算力与部署的可扩展

3D生成对显存的贪婪程度，做过的人都懂。一个256³的场已经能吃掉接近一张中端卡的全部显存，这让“可扩展”在工程上多了一层含义：能不能在大规模集群上并行训练，以及推理时能不能在低显存设备上落地。

我有两个实际部署中的策略可以分享。第一个是分块推理：把空间划分成若干重叠块，分别采样场值，再在边缘做羽化融合，这样单卡也能推高分辨率结果，代价只是多花一些时间。第二个是潜空间压缩：先训练一个自编码器把3D场压成紧凑的潜向量，然后在潜空间做扩散。这个方案牺牲了一点可视化直观性，但换来的是训练和部署成本的显着下降，也是后续许多3D生成工作的主流路线。

4. 实操要点与复现避坑指南

这部分是我自己动手复现这类方案时最想留下的经验，可能比论文里的公式更容易你在实际项目里用到。

4.1 最小复现流程

如果你想快速跑通一个最小流程来理解整套机制，我建议按下面这个顺序一步步来。不用一开始就追求大数据集和大模型，先让链路完整转起来。

第一步，准备一批规范化后的3D模型。训练集不需要很大，几百个单一类别的模型就足够把框架跑通。重点是把模型全部缩放到单位立方体，统一坐标系，确保表面是水密的。

第二步，对每个模型做空间采样，生成占用场或SDF场的训练对。采样策略上我建议均匀采样整个三维空间，同时额外在表面附近做密集采样，用来增强细节学习。采样代码大概长这样：

def sample_occupancy_field(mesh, num_uniform=60000, num_surface=40000): # 均匀采样 pts_uniform = np.random.rand(num_uniform, 3) occ_uniform = compute_occupancy(mesh, pts_uniform) # 表面附近采样：在网格顶点附近加高斯扰动 surface_pts = sample_surface(mesh, num_surface) pts_surface = surface_pts + 0.01 * np.random.randn(*surface_pts.shape) occ_surface = compute_occupancy(mesh, pts_surface) pts = np.concatenate([pts_uniform, pts_surface], axis=0) occ = np.concatenate([occ_uniform, occ_surface], axis=0) return pts, occ

注意，占用值的计算必须使用水密网格和射线法或符号距离判断，否则空间内外判断会有严重问题。

第三步，定义一个3D UNet。输入是带噪声的场样本，输出是预测的噪声场。参数量从小规模开始，卷积通道数从32起步，不要一开始就往大了堆。

第四步，按标准DDPM流程训练几百个epoch。我常用的关键超参数组合是：扩散步数T=1000，噪声调度用cosine，学习率1e-4，batch size尽可能给满。EMA权重衰减系数设成0.999。

第五步，推理时用DDIM加速采样，从纯噪声场开始逐步去噪。得到场之后，用Marching Cubes算法提取等值面转成网格。这里等值面阈值的选择对网格质量影响很大，占用场一般取0.5附近，SDF场取0附近，需要根据训练时的定义微调。

如果过程中发现生成结果是一团均匀噪声或者全空，优先检查两个地方：噪声调度和输入取值范围的匹配程度，以及采样点分布是不是过度偏向了表面。这两个问题占了大多数“训练没效果”的案例。

4.2 评估指标：FID、覆盖率和多样性

评估3D生成质量，不能只看渲染出来的图片好不好看。行业内常用的做法是把生成网格渲染成多视角图像，然后计算FID、覆盖率（COV）和最小匹配距离（MMD）这些指标。

这里有很关键的一个细节：渲染视角必须固定。我见过不少项目的评估结果波动巨大，后来排查发现是渲染相机位置不统一导致的。建议所有生成样本统一使用同一套相机轨迹，比如固定等距旋转的若干个角度，保证每个模型获取图像的条件一致。

另外，3D生成里单纯看FID很容易失真。FID反映的是分布接近程度，不代表单个样本的可用性。一个模型可能FID很低，但生成的形状都在几个固定模式附近打转。所以最好配合覆盖率指标，看看生成的集合是不是真的覆盖了训练集中的各类形态，还是只在少数几个模式附近反复抽样。

4.3 常见的三个坑

我把实操作业里踩过、也见过别人踩的坑整理成一张速查表，希望帮你省掉几周的排查时间。

这张表里的每一条，都能让一个看起来完全正确的框架直接翻车。我尤其想强调朝向对齐的问题：3D数据集的原始朝向千奇百怪，有的模型正着摆，有的旋转了90度甚至倒置。不对齐的话，模型在训练时会花大量容量去学习各种朝向的变换，最后生成结果就在各个朝向之间飘忽不定。

5. 应用场景、变体与未来发展

5.1 在行业里的典型应用位置

这类3D扩散生成能力，最直接的用武之地是游戏和影视前期的资产快速原型。美术可以先让扩散模型生成一批符合粗略描述的模型，从中挑选几版有潜力的基础形态，再进入精细雕刻流程。相比从头建模，节省的时间是质变级别的。真正在项目里跑过一遍的人才会理解，这就像是给美术配了一个不知疲倦的灵感实习生，你只需要做选择和优化。

另一个重要场景是自动驾驶和机器人仿真。这类系统需要大量形状多样、覆盖极端边界情况的三维障碍物和目标模型，人工建模根本跟不上测试集扩张的速度。扩散模型可以在短时间内产出大量合乎要求的几何体，虽然是随机生成的，但正因为随机，才能覆盖各种意想不到的corner case。

做3D打印设计的人也值得关注。扩散模型生成的隐式场天然是连续的，提取出的网格基本都是封闭水密的，用来生成可打印结构比手工建模顺畅不少。我在一些创作者社区里见过有人用类似方法生成灯具外壳、机械零件的原型，输出网格的打印友好度普遍不错。

5.2 从生成走向编辑

生成模型解决了“从无到有”的问题，但产业界需求量更大的是“从有到好”——也就是编辑能力。扩散模型框架在这方面有一个天然优势，它可以在反向采样过程中通过引导项（classifier guidance或类似机制）把形状推向特定方向，从而实现局部修改。比如把椅子的背部改高一点，把一个零件的孔改大一点，这些操作不需要重新训练模型，只需要在采样时加一个引导梯度。

我实际测试过用引导项做局部约束，体会是约束强度必须控制在很窄的窗口内：太强会破坏整体结构一致性，太弱则几乎看不出变化。每个类别、每种修改类型都需要单独调参，不像文本去噪那样能粗放式工作。这个特性决定了现阶段的编辑能力适合做探索式调整，还没有到可以交给非专业人士随便操作的程度。

5.3 主要瓶颈与可能的演化方向

尽管这条技术路线已经证明了相当强的可扩展性，但距离“泛用3D资产生成”还有三道必须跨越的门。

第一是表示层的不统一仍然没有最终答案。隐式场在捕捉高频细节时天生吃亏，网格直接生成又难定义连续扩散过程，未来大概率会走向多表示融合：先用隐式场生成整体结构，再通过可微渲染或优化步骤，从图像细节上恢复纹理和微表面结构。

第二是纹理和材质的缺失。很多早期3D扩散模型只关注几何场本身，没有把颜色、材质信息纳入生成范围。但一个3D资产能不能直接被下游使用，很大程度取决于它有没有贴图和PBR材质。光有几何形状但没有外观，下游还要额外做一轮成本不低的材质配套工作。

第三是条件控制的稳定性。文本条件、图像条件、布局条件在2D里已经非常强大，但在3D领域里因为数据模态稀疏，跨模态对齐还很不稳定。我判断未来一段时间的主要增长点会集中在：跨模态训练数据的蒸馏与自动清洗、更高效的标注流水线、以及条件注入方式的细粒度控制。纯模型结构优化的边际收益，正在让位于数据处理和条件设计的系统化改进。

我个人在实际项目里的体会是，这个方向真正的门槛，已经不在“能不能生成一个形状”，而在于“生成之后怎么无缝接入现有生产管线”。几何、纹理、语义、交互，每一步都在消耗工程成本，这不是单一篇论文能一揽子解决的。但退一步说，3D扩散生成至少把这条长跑赛道的起点，向前挪了很大一截。未来几年，谁能在数据管线和条件控制上做出系统化突破，谁就更有可能拿到3D资产生成这片蓝海的入场券。