最早接触Image Composition（图像合成、融图、溶图）这个研究方向时，我在实验室里反复打磨一个边缘融合的demo，怎么调整都过不了“无痕”这道门槛。那段经历让我意识到，融图绝不只是把两张图叠在一起，而是一整套关于梯度场、边界约束、色彩一致性的系统工程。所以当实验室决定对Image Composition做一次系统化的时间线小结时，我主动承担了整理和复现的大部分工作。

这篇小结和市面上很多教程不一样，它不打算从任何教科书定义开始，而是按照我自己实际复现和调试这些算法的顺序来梳理。我会把从经典的数字图像处理时代到深度学习时代的关键技术转折点完整呈现出来，包括每个阶段的核心思路、我为什么觉得某个方法有效、哪些细节会让效果差别巨大，以及在实验过程中真实踩过的坑。如果你是刚进入视觉方向的学生，或者正在做图像编辑、内容生成相关工作，这篇内容应该能帮你省下不少自己摸索的时间。

1. 理解Image Composition研究的核心问题

先说说这个方向到底要解决什么问题。假设你手里有一张完美的背景图，再从另一张图中“剪”下一只小动物，或者一个人物。目标是让这个剪下来的部分放进去之后，看不出来是拼的。看似简单，实则涉及两个子问题：内容上，物体的光照、色调、纹理要和背景协调；边界上，过渡要自然，不能出现明显的接缝、光晕或边缘脏色。

实验室最初做这个方向时，我们先统计了不同场景下的合成需求，大概分成三类：前景物体带半透明区域（头发、毛发、树叶缝隙）、前景和背景光照差异大（室内抠图放室外）、以及背景有复杂纹理（水波纹、草地、砖墙）。不同场景对算法的要求完全不同，这也是为什么Image Composition这个领域看起来很小，方法却异常繁多的原因。

核心问题可以拆成三个关键词：无缝、色度一致性、结构保留。无缝解决的是边界可见性，色度一致性解决的是“放进去之后像不像原本就在那里”，结构保留解决的是不破坏前景物体本身的纹理细节。后面所有的方法演进，基本都是围绕这三者之间的权衡展开的。

1.1 问题形式化：从编辑器视角看合成

从像素视角来看，一个典型的合成任务可以这样理解：有一张前景图F和它对应的alpha通道（软掩膜），以及一张背景图B。我们想生成一张输出图像I，满足在alpha接近1的区域，I取F的像素；在alpha接近0的区域，I取B的像素；而在alpha处于中间的超像素过渡区域，I必须平滑融合两者。

公式写出来很简洁： I = alpha * F + (1 - alpha) * B

但这个公式是几乎所有问题出现的起点。直接用这个公式做混合（业内叫alpha blending），结果通常很糟糕，边缘会有白边或黑边，原因是前景图F在抠图时不可避免地“带了一圈”原背景的颜色信息（颜色溢出现象）。而且硬编码这个公式并不能处理光照差异。整个领域的研究，说白了都是在这个公式附近做文章，想办法修正或者替换掉这种直白的加权平均。

1.2 为什么融图这么难：光照与感知的博弈

我在自己复现过程中有一个强烈的感受：融图的难度不完全来自数学，更多来自人眼的视觉感知系统。人眼对光照变化、边缘锐度、纹理重复性极其敏感。哪怕是几像素的亮度差异，在低对比度情况下都能被轻易察觉，但大范围的光照不均，反而由于视觉适应性而被忽略。

举例来说，我把一个高光明显的物体放到背光场景中，局部色调映射怎么调都不对。后来发现，问题不只是亮度均值差异，而是梯度方向的改变——前景和背景的明暗走向不一致，破坏了视觉系统对“同一个光照环境”的感知。这也是为什么梯度域方法比像素域方法更能打动人的眼睛，因为它们直接操作的是像素之间的差异，而不是像素的绝对数值。理解了这一点，再看后面的方法演进，就会非常通透。

2. 经典方法的时间线：从简单混合到梯度域

这个部分是我在实验室里把2000年到2010年前后主流方法逐一复现后整理出来的时间线，完全可以看作一部微型图像处理发展史。早期解决合成问题的手段基本是像素操作，后来逐渐过渡到频域，再后来跳到梯度域，每一次跨越都对应着对人眼感知模型认知的加深。

2.1 直接混合与新经典Blend的局限

最原始的方法就是alpha blending，没有任何花哨处理。我复现完的感受是：它对“前景本身已经和背景很协调”的情况完全够用，比如在相同光照条件下拍摄的物体移动。但一旦出现光照和色彩差异，接缝处的断裂感就像头发丝一样一根根蹦出来。

当时实验室一位有经验的前辈给了我非常实用的建议：如果不能立刻上复杂算法，至少先试两种简单修复。一是对alpha通道做高斯模糊，二是对前景图的边缘做羽化收缩。前者能让过渡柔和，后者能减轻抠图边缘残留的颜色溢出。这两个技巧直到现在还在很多生产管线里使用。但它们的缺点是会损失细节，在毛发或植物叶片这种复杂边缘上，模糊稍大就糊成了一片。

2.2 多分辨率融合：拉普拉斯金字塔的降维打击

当单尺度操作不够用时，人们自然想到了金字塔。拉普拉斯金字塔融合是经典中的经典，它把图像分解成不同尺度的频带，然后每个频带独立做加权混合，最后重建。我在复现中发现，它确实能解决一部分“接缝可见”问题，因为高频纹理和低频色彩被分开处理了。比如低频部分可以大范围平滑过渡，高频部分则保留细节防止模糊。

但金字塔融合并非万能。它在颜色或结构差异过大时会出现奇怪的光晕，尤其在物体边界区域，多频带重建会互相干扰。我当时用一组“水边岩石+天空”的素材测试，结果岩石区域的纹理穿过天空边界，产生了类似透视的重影效果。这个方法的定位是“快速、稳健的通用缝合工具”，但要真正做到不可见，还差一口气。

金字塔还有一层更微妙的原理，我是在实验失败了多次后才体会到的。它本质上是在模拟人眼多通道感知机制，低频对应整体光照感，高频对应细节锐度。如果只处理某一个频带，效果必定不平衡。要把融图做好，不同频带的处理策略必须差异化。这也是它在很多旧式全景拼接软件里长期霸榜的原因。

2.3 梯度域方法：泊松图像编辑的魔法时刻

2003年提出的泊松图像编辑，是这个时间线里最重要的转折点，也是我个人花时间最多的一个方法。它不再操作像素本身，而是操作像素之间的差值，也就是梯度。核心思路可以这样理解：直接拼像素做不到无痕，那就不碰像素，只“搬运”前景的梯度，然后再求一个满足用户指定边界条件的图像，让它的梯度场尽量逼近前景的原始梯度场。

数学上要解一个带边界约束的最小二乘问题。我把公式简化一下说明原理：需要最小化输出图像I的梯度与前景图F的梯度之间的差异，而在边界处强制I等于背景图B的像素值。这会导致在过渡区域，I会自然而然地调整亮度偏差，把前景的颜色“裹”进背景的光照环境里。

我在实验室里跑通第一版泊松融合代码时，是真的被震撼到了。把一张室内偏暗的物体直接拖到明亮室外背景中，不需要任何手动调色，物体的颜色就会自动适配外环境，包括微妙的漫反射色调偏移。这背后的原因是：拉普拉斯最小化过程自动解决了光照不一致问题。人眼对梯度的敏感度远高于对绝对亮度的敏感度，所以只要梯度对上了，整体光照自然就被接受了。

泊松编辑的局限也很明显：当梯度本身需要改变时它无能为力。比如前景物体的明暗方向与背景完全相反，或者前景内部有强烈纹理，而背景对应区域是平坦无细节的，泊松编辑就可能产生模糊感或过度平滑。这也是后来研究者不断改进它的原因。

2.4 经典方法对比与选型建议

我把实验室测试过的几种经典方法做成了对比，方便后来者做选型：

选型的核心依据是看你的素材是光照问题占主导，还是纹理结构问题占主导。光照问题优先考虑泊松家族，纹理问题考虑金字塔。两边都有问题则需要在多尺度域结合梯度约束，这已经是很多论文的研究深度了。

3. 深度学习时代：数据驱动与端到端合成

大概从2015年开始，Image Composition研究方向逐渐被深度学习接管。我自己的博士研究生涯转折点也在这里——传统方法调参调到极致，效果提升都很有限，而基于神经网络的方法在同样的素材上，明显有质的不同。这部分我会按实验时间线拆分三个关键问题：网络架构是怎么演化的、训练数据是怎么制造的、以及损失函数为什么这么设计。

3.1 网络架构选择的演化：从UNet到双流与GNN

把合成问题当作图像到图像的翻译问题，是很自然的深度学习切入点。主干结构从早期的UNet，逐渐演进到带注意力机制的多尺度结构。我在实验中对这三种结构有非常直观的对比：

• UNet：简单直接，下采样再上采样，能学到大致融合规则，但边界细节随深度加深而丢失。
• UNet + 注意力：在跳跃连接处加注意力模块，能抑制远处无关背景的干扰，毛发边缘比原始UNet好很多。
• 双流结构：一条流处理前景加蒙版的编码信息，另一条流处理背景，最终在特征层面融合。这种结构更贴近问题的物理本质。

我自己实验中最惊讶的时刻出现在一个具体的例子上：用基础UNet做人体合成，遇到背景中有很强绿色植被时，前景皮肤会被“带偏”成绿色。换成双流结构后，模型能清楚区分哪部分特征来自前景、哪部分来自背景，就不会把背景颜色直接串到前景上。这说明对于Image Composition来说，特征分离能力比单纯的感受野大小更重要。

3.2 合成训练数据：自监督生成“伪真实”样本

深度学习离不开数据，但真实世界并没有标注好的“合成前/合成后”训练数据。这也是我在入门时最困惑的地方。后来实验室采用了一套标准的自监督合成管线的思路：先用随机算法生成一对一对的“前景抠图素材+空白背景”，然后人为制造混合图像，再把混合图像作为输入，期望恢复成原始前景和背景。

我没有直接用别人发布好的数据集，而是按照这个思路构建了一套自己的合成工具。具体做法是先从公开的语义分割数据集中裁剪物体实例，再对物体加上旋转、缩放、颜色抖动、噪声、光照扰动，然后随机粘贴到不同的纯背景图上。用同一套工具生成了约5万对样本。这个过程中有一个很重要的心得：不透明度阈值的随机化至关重要。如果训练时alpha通道永远是二值化（只有0和1），模型就学不会半透明区域的正确处理。

在训练时我还发现在alpha通道上做轻微侵蚀或膨胀，然后再进行高斯模糊，可以模拟真实抠图的不完美边缘。这一步看似微小，却能显著提升模型在真实素材上的泛化能力。很多复现论文失败的同行都忽略了训练数据增强从一开始就要模拟“边缘不干净”的情况。

3.3 损失函数设计的核心逻辑：感知才是指挥棒

深度合成模型的损失函数通常不只一项。最基础的L1或L2像素损失只保证结构上的接近，但不保证感知效果。我在项目中逐步加入了三个阶段：像素损失、感知损失、对抗损失。它们的定位各不相同：

像素损失负责在RGB空间约束绝对颜色；感知损失是在预训练网络的特征空间计算距离，让生成图像在高级语义上和真图相近；对抗损失则是让判别器区分输出和真实图像的差异，迫使生成器在统计学意义上提高真实性。

我踩过最大的坑是感知损失计算层次的选择。一开始直接用较深层特征（比如VGG的relu4_2），结果生成结果反而模糊。后来换成多用relu1_2、relu2_2、relu3_4的组合，效果才稳定。原因是较深层特征过于语义化，对精细纹理不敏感，反而“容忍”了模糊。而较浅层的特征能够直接约束局部边缘和纹理，这正好是Image Composition最需要保护的部分。

对抗损失的使用，同样有讲究。早期实验直接上标准对抗训练，训练极端不稳定，动不动就颜色漂移。我后来按照经验把对抗损失权重控制在感知损失权重的十分之一以下，并把判别器更新的频率降低，整个训练就稳定了很多。实战下来，这三种损失的合理权重比例大致是：像素损失1.0，感知损失0.5到1.0，对抗损失0.05到0.1，具体数值需要依据数据集微调。

4. 实操过程中的踩坑记录与参数调节

这一部分应该是很多做实验的人最想看的。我在整理时间线的同时，完整复现了从传统方法到深度方法的全过程，也遇到了各种稀奇古怪的问题。这里我会按自己的实验笔记顺序，挑出那些最有代表性的案例，分享排查思路和最终的解决办法。

4.1 常见问题与排查捷径

先给一张问题排查表，这是我实验时贴在显示器边上的备忘：

这里面最值得展开的是“边缘发暗或发亮”的问题。早在跑泊松编辑的时候就遇到过不少次。我在实验室里排查了很久才发现，问题往往不在算法本身，而在于前期准备的alpha通道太粗糙。如果alpha过渡带太窄，边界约束点落到了前景残留颜色区域内，泊松求解就会被错误的边界值“带偏”，导致输出在边缘形成一圈亮边或暗边。解决方法也很简单，把alpha通道做一次轻微的膨胀，让约束点避开前景的残色区域，效果立竿见影。

4.2 我在实验室里的参数调节经验与心得

整个实验下来，我最大的体会是：不要小看alpha通道预处理。很多所谓“算法效果不行”的情况，实际上是输入质量问题。我曾经用同一个泊松求解器测试不同alpha来源的素材，效果差距大到像换了一个算法。从那以后，我在每次实验之前都会先对alpha统一做一次“规范化处理”，具体包括三步：清理孤立噪点（面积小于5像素的连通区域直接剔除）、二值过渡带重建、最后再按需腐蚀或膨胀。

还有一个细节容易被新手忽略：颜色空间。深度学习时代，很多开源代码默认在sRGB空间计算损失，但sRGB并不是感知均匀的颜色空间。两种颜色数值相同差距，在暗部和亮部的视觉感受完全不同。我把训练时的感知损失迁移到Lab空间的a、b通道上，融合的色彩表现比之前在RGB里调权重还要自然。传统方法里也有类似操作，只是以前工具少，大家懒得做。

对抗损失权重那段也是我印象很深。最初我是跟着论文的默认参数来，结果训练十几个epoch后开始发生严重的色彩振荡，前景物体一会儿偏红一会儿偏绿，怎么都稳不下来。后来一位实验室前辈提醒我可以尝试不用纯对抗，改成感知损失加频谱归一化。我换掉标准判别器结构，对抗训练才稳定下来。现在我的默认配置是：感知损失为主，对抗损失只作为边缘锐化的辅助，权重很低，只求真实感不求想象力。

5. 评测思路与时间线复盘：如何证明你的融合更好了

做研究不能只看效果图“觉得不错”，需要一套有说服力的评测方法。我在整个时间线梳理中，花了不少时间在研究评测指标上。这里把那些真正有效果、且可复现性强的评测方法整理出来。

5.1 指标选择：从像素精度到感知质量

像素级指标主要有MSE、PSNR、SSIM。它们非常直观，但对光照变化和边缘微移极其敏感，常常无法反映主观视觉上的“无缝感”。我在实验中发现，当用传统方法处理光照差异大的素材时，PSNR和SSIM竟然比深度学习模型高，但人眼看上去明显深度模型更自然。这说明像素级指标并不能完全衡量融合质量。

后来我在项目中引入了一套组合方案：MSE和PSNR作为基础数值参考，SSIM作为结构保持参考，再额外加两个比较有针对性——边界区域梯度误差（专门计算融合边界内几个像素的梯度差异）和感知得分（用预训练网络衡量输出和目标之间的特征距离）。实际用下来，边界梯度误差真的很能说明问题，它能在noise很多的主观效果里自动找出边界穿帮的具体位置。

5.2 消融实验在时间线梳理中的重要性

时间线小结如果只有技术演进没有实证对照，参考价值会大打折扣。因此我在整理每一类方法之后都做了一组消融实验：保留该方法的核心模块，替换掉其余部分，观察效果变化。这样能准确判断每个模块的贡献度。

以我在深度学习阶段的实验为例，我对比了四个版本的配置：完整架构、去掉注意力模块、去掉双流分离、去掉对抗损失。结果很清晰——双流分离对整体稳定性的贡献最大，注意力模块对边缘细节贡献明显，对抗损失对锐度有一定作用但有时会引入噪点。这种对照让我在回答“为什么这个架构可行”时有了确凿的数据依据。

5.3 整体时间线复盘与关键转折点

把整条时间线串起来看，Image Composition领域经历了三个大的转折。第一是像素域能做的操作逐渐触顶，所有高难度融合问题都会在边界和光照处失败，这也是梯度域方法能够兴起的原因。第二是泊松编辑为代表的目标函数设计成熟后，大家发现“改动像素值的全局优化”比“局部调色”更接近感知本质，这个阶段的研究工作大多在做目标函数的变体。第三是深度学习的出现，让端到端学习成为可能，研究重心从函数设计转移到数据构造、特征分离和感知损失设计上。

对我个人来说，这条时间线复现最大的收获是我能清楚看到每个方法为下一个方法铺了哪些路。泊松编辑虽然不能改变梯度的结构，但它定义了融合问题的目标函数范式；UNet虽然简单，但它示范了端到端学习的可行性；对抗损失虽然不稳定，但它让真实感成为了可优化的目标。每一次看似过时的技术，都在某个角落埋下了下一个阶段的伏笔。

6. 一些真实体会与后续扩展想法

这里是我自己踩过不少次坑之后总结出来的一些实际体会，希望能帮正在做这个方向的人少走弯路。

第一个体会是，素材质量和alpha精度决定了结果的上限，算法只是在尽力靠近这个上限。实验室里的对比实验做得再多，也远不如先把素材处理规范。我后来几乎把一半的精力都花在了alpha的清洗和边缘优化上，效果提升远超换模型的收益。

第二个体会是，传统方法不只是用来做对比的“老古董”。我在深度学习阶段遇到的所有重要问题，都能从经典方法里找到原理的影子。边界约束？泊松编辑早就做过。多尺度纹理保护？金字塔早就做过。学深度学习不代表可以扔掉过去的积累，真正的优势来自两者结合。

第三个体会是，如果后续有人在这个方向继续扩展，我会建议关注三个方向：一是跨域合成中的光照一致性自动估计，用轻量网络预测前景在新场景中的光照方向和强度；二是交互式编辑中的实时反馈机制，让用户拖动变换时能实时看到无痕融合预览；三是把大模型的先验知识引入融合过程，让模型真正理解“这里是一棵树”“那里是水面反光”，而不是单纯计算像素关系。

我在完成这条时间线之后，把整理出来的复现代码和实验笔记都归档到了实验室的公共仓库。如果有人愿意拿着它去复现和扩展，我很乐意看到Image Composition在这个基础上走得更远。做研究这件事，本来就是站在前人肩膀上不断向上够的过程。