1. 这个排行榜到底在排什么
第一次看到“RETOUCH数据集排行榜”这个说法，很多人会以为是某个修图软件的跑分榜，或者某个滤镜App的用户评分。其实不是。RETOUCH数据集是图像处理领域一个专门用来评测图像修复与篡改检测算法的基准数据集，全称里的“RETOUCH”本身就带有“修饰、润色”的含义，指向的是对图像内容进行局部修改后，算法能否准确识别出被改动区域这件事。排行榜则是研究者把不同算法在这个数据集上的表现拉出来横向对比的结果汇总。
它解决的是一个非常实际的问题：一张图片被人用修图工具改过之后，能不能被自动、精准地找出来，并且标出改动发生在哪个位置。这件事听起来简单，做起来极难。因为现代修图工具越来越智能，改完之后肉眼几乎看不出痕迹，像素层面的统计特征也被处理得很干净。排行榜存在的意义，就是给这个领域的算法提供一个统一的、可复现的竞技场，让不同技术路线能在同一套标准下比出高下。
适合看这个排行榜的人，大致分三类。第一类是做图像取证、内容审核、数字水印相关方向的算法工程师，他们需要知道当前最优方案的天花板在哪里，自己的模型还有多少提升空间。第二类是安全风控、版权保护、司法取证场景的产品和技术负责人，他们关心的是这个技术到底能不能落地、误报率有多高、处理一张图要多久。第三类是想入门这个方向的学生和研究者，排行榜是最好的学习地图，顺着排名往下读论文，能快速摸清技术演进的脉络。
我个人的判断是，这个排行榜的价值不在于“谁排第一”，而在于它暴露了哪些问题还没解决。排名靠前的方案往往在特定子集上表现好，换个场景就掉得厉害。这种“偏科”现象才是真正值得关注的信息。
2. 数据集本身的设计逻辑与评测维度
2.1 为什么要有专门的篡改检测数据集
通用图像数据集比如分类、检测用的那些，解决的是“图里有什么”的问题。篡改检测要回答的是“图里哪里被动过”，这是一个像素级的二分类甚至多分类问题。两者的标注方式、评价指标、难点分布完全不同。用通用数据集训练出来的模型，在篡改检测任务上基本是废的，因为它从来没学过“正常像素”和“被修改像素”之间的微妙差异。
RETOUCH这类数据集的设计初衷，就是要把这种差异显式地标注出来。它通常包含三部分内容：原始未修改的图像、经过人工或算法修改后的图像、以及一张精确到像素的掩码图，标明哪些位置被改动了。有些版本还会细分改动类型，比如是复制粘贴、内容擦除、色彩调整还是局部替换。这种细粒度标注是排行榜能做出有意义对比的前提。
注意：不同版本的RETOUCH数据集在标注粒度和改动类型上可能有差异，看排行榜时一定要先确认它用的是哪个版本、哪个子集，否则跨版本比较排名是没有意义的。
2.2 排行榜常用的几个核心指标
排行榜上密密麻麻的数字，核心其实就几个。搞懂这几个，再看排名就不会晕。
| 指标名称 | 含义 | 越高越好还是越低越好 | 实际关注点 |
|---|---|---|---|
| Pixel Accuracy | 像素级分类正确的比例 | 越高越好 | 容易被大量正常像素拉高，参考价值有限 |
| IoU | 预测篡改区域与真实区域的重叠度 | 越高越好 | 最能反映定位精度，核心指标 |
| F1 Score | 精确率和召回率的调和平均 | 越高越好 | 平衡误报和漏报，实用性强 |
| AUC | ROC曲线下面积 | 越高越好 | 反映模型在不同阈值下的整体排序能力 |
| Inference Time | 单张图推理耗时 | 越低越好 | 决定能否落地到实时场景 |
这里面最容易被误读的是Pixel Accuracy。假设一张图里只有百分之二的区域被篡改，模型把所有像素都判为“未篡改”，准确率也有百分之九十八，但这个模型毫无用处。所以看排行榜时，IoU和F1才是真正要盯住的数字。AUC适合看模型的整体区分能力，但如果业务场景对误报极度敏感，就得单独看低误报率下的召回表现。
2.3 排行榜背后的评测协议
排行榜不是随便跑个脚本就能上的。正规的评测有一套固定流程：训练集、验证集、测试集严格划分，测试集标签不公开，参赛者只能提交预测结果，由评测方统一算分。这样做是为了防止过拟合，保证排名的可信度。
有些排行榜还设置了“盲测”环节，就是连测试集的输入图像都不完全公开，只给一部分样例，剩下的在线提交。这种设计能进一步筛掉那些靠记忆训练集来刷分的方案。看排行榜时，如果某个方案的分数高得离谱，先查一下它是不是在评测协议上做了手脚，比如用了额外的外部数据训练，或者对测试集做了针对性调优。正规排行榜通常会标注这些信息。
3. 主流技术路线与排名靠前方案的拆解
3.1 从传统方法到深度学习的演进
早期做篡改检测，靠的是手工设计的特征。比如分析图像的噪声分布，因为修改过的区域噪声模式会和周围不一致；或者做JPEG压缩痕迹分析，二次压缩会留下特定的频域特征。这些方法在特定条件下有效，但鲁棒性很差，换个修图工具或者重新保存一次，特征就失效了。
深度学习进来之后，主流思路变成了端到端的语义分割。把篡改检测当成一个二分类分割任务，输入图像，输出一张概率图，每个像素给出被篡改的概率。这个框架简单直接，配合足够多的标注数据，效果比手工特征好了一个量级。排行榜上排名靠前的方案，绝大多数都是这个路子。
再往后发展，出现了多流网络、注意力机制、频域与空域融合等改进。核心逻辑都是一样的：单一视角的信息不够，要把不同维度的线索结合起来。比如空域看纹理和边缘，频域看压缩痕迹和周期性噪声，两者互补，能显著降低漏报和误报。
3.2 排名靠前方案的共同特征
我把排行榜前几名的方案论文翻了一遍，发现几个反复出现的共同点。
第一，多尺度特征融合几乎是标配。篡改区域大小不一，有的只改了几个像素，有的占了大半张图。单一尺度的特征图很难同时覆盖这两种情况。靠前的方案基本都用了特征金字塔或者类似结构，把不同层级的特征拼在一起再做预测。
第二，边缘监督被广泛使用。篡改区域的边界往往是最难判的地方，也是误报的重灾区。很多方案会额外加一个边缘预测分支，用边缘标签做辅助监督，强迫网络学会关注边界区域。这个技巧实测能提升一到两个点的IoU。
第三，后处理不可少。网络输出的概率图直接二值化，结果往往很碎，有很多孤立的小噪点。排名靠前的方案基本都会做连通域分析或者条件随机场后处理，把明显不合理的小区域滤掉，让结果更干净。
3.3 一个典型高分方案的结构拆解
拿一个在排行榜上长期靠前的方案举例，它的结构大致是这样的：主干网络用了一个改进的编码器-解码器架构，编码器部分用了空洞卷积来扩大感受野，解码器部分逐级上采样恢复分辨率。中间加了两个辅助模块，一个做频域特征提取，把图像转到频域后用小卷积核处理，捕捉压缩痕迹；另一个做注意力细化，在解码器的每一级输出上施加空间注意力，让网络聚焦在可疑区域。
训练策略上，它用了多任务损失：主损失是像素级的交叉熵，辅助损失包括边缘预测的二元交叉熵和频域重建的均方误差。三个损失加权求和，权重是通过验证集调出来的。这个方案在排行榜上的IoU比基线高了将近八个百分点，推理速度也控制在可接受范围内。
提示：看论文时不要只看最终分数，要重点看它的消融实验。消融实验能告诉你哪个模块真正起了作用，哪个只是凑数的。有些方案堆了一堆模块，实际有效的就一两个。
4. 自己复现排行榜方案的关键步骤
4.1 环境准备与数据预处理
想自己跑一遍排行榜上的方案，第一步是把环境搭好。主流方案基本都基于PyTorch，建议用较新的稳定版本，CUDA版本要和显卡驱动匹配。数据预处理这块有几个坑要注意。
图像尺寸不统一是第一个问题。原始图像分辨率差异很大，直接缩放到固定尺寸会丢失细节，尤其是小面积的篡改区域。常见的做法是随机裁剪，训练时裁成固定大小的图块，测试时用滑动窗口或者整图推理再拼接。裁剪的时候要保证裁出来的块里既有篡改区域也有正常区域，否则正负样本严重失衡，模型学不到东西。
第二个坑是数据增强。翻转、旋转、色彩抖动这些常规操作可以用，但要小心。有些增强会改变篡改区域的统计特征，比如强烈的色彩抖动可能让频域特征失真。建议增强策略要保守一点，以几何变换为主，色彩变换幅度控制在小范围内。
# 数据加载与增强的简化示例 import torch from torch.utils.data import Dataset import random import cv2 import numpy as np class RetouchDataset(Dataset): def __init__(self, image_paths, mask_paths, crop_size=256): self.image_paths = image_paths self.mask_paths = mask_paths self.crop_size = crop_size def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img = cv2.imread(self.image_paths[idx]) mask = cv2.imread(self.mask_paths[idx], 0) # 随机裁剪，保证裁剪区域包含一定比例的篡改像素 h, w = img.shape[:2] for _ in range(10): y = random.randint(0, h - self.crop_size) x = random.randint(0, w - self.crop_size) crop_mask = mask[y:y+self.crop_size, x:x+self.crop_size] if crop_mask.sum() > 0: break img = img[y:y+self.crop_size, x:x+self.crop_size] mask = mask[y:y+self.crop_size, x:x+self.crop_size] # 几何增强 if random.random() > 0.5: img = cv2.flip(img, 1) mask = cv2.flip(mask, 1) img = img.astype(np.float32) / 255.0 img = np.transpose(img, (2, 0, 1)) mask = (mask > 127).astype(np.float32) return torch.from_numpy(img), torch.from_numpy(mask).unsqueeze(0)这段代码里有个细节值得说：裁剪时循环尝试十次，确保裁出来的块里至少有一个篡改像素。如果不做这个保证，很多裁剪块全是正常区域，模型会偏向预测“未篡改”，召回率会崩。
4.2 模型搭建与训练配置
模型搭建这块，如果你不想从头写，可以找排行榜上开源了代码的方案，直接拿来改。但要注意，有些开源代码和论文描述不完全一致，跑出来的分数可能对不上。建议先跑通一个简单基线，比如U-Net加ResNet主干，确认整个流程没问题，再往上加模块。
训练配置有几个关键参数需要调。学习率建议用余弦退火策略，初始值设在千分之一到万分之一之间，具体看batch size。batch size在显存允许的前提下尽量大一点，因为篡改检测的正负样本极度不平衡，大batch能提供更稳定的梯度。优化器用AdamW比Adam更稳，权重衰减设在万分之一左右。
损失函数的选择很关键。纯交叉熵在正负样本悬殊时效果不好，建议用Dice损失和交叉熵的加权组合。Dice损失直接优化重叠度，和IoU指标更一致。权重可以设成Dice占七成、交叉熵占三成，这个比例是我试过比较稳的。
# 损失函数组合示例 import torch.nn as nn class CombinedLoss(nn.Module): def __init__(self, dice_weight=0.7, ce_weight=0.3): super().__init__() self.dice_weight = dice_weight self.ce_weight = ce_weight self.ce = nn.BCEWithLogitsLoss() def forward(self, pred, target): # pred: (B, 1, H, W) logits # target: (B, 1, H, W) 0/1 ce_loss = self.ce(pred, target) pred_prob = torch.sigmoid(pred) intersection = (pred_prob * target).sum() dice_loss = 1 - (2 * intersection + 1e-6) / (pred_prob.sum() + target.sum() + 1e-6) return self.dice_weight * dice_loss + self.ce_weight * ce_loss4.3 训练过程中的监控与调优
训练跑起来之后，不能只看loss降没降。篡改检测任务里，loss降了但IoU不涨甚至跌了的情况很常见，因为模型可能在学着预测更多的负样本。建议每跑完一个epoch就在验证集上算一次IoU和F1，以这两个指标为准来决定要不要保存模型。
学习率调度也很重要。如果发现验证集IoU连续几个epoch不涨了，可以手动把学习率降一半，往往能再挤出一两个点。早停策略建议设得宽松一点，patience给到十个epoch左右，因为这个任务收敛比较慢，有时候要跑很久才突然涨上去。
还有一个容易被忽略的点是类别权重。如果篡改区域占比很小，可以在损失函数里给正样本更高的权重。但权重不能设得太高，否则误报会飙升。我一般从二比一开始试，根据验证集上的F1来微调。
5. 实操中踩过的坑与排查技巧
5.1 分数对不上排行榜怎么办
这是最常见的问题。自己跑出来的IoU比排行榜上低了好几个点，先别怀疑人生，按顺序排查这几项。
第一，确认数据划分是否一致。排行榜用的测试集划分是固定的，如果你自己随机划分，结果没有可比性。去排行榜官网找它提供的划分文件，严格按那个来。
第二，确认评价指标的实现是否一致。IoU的计算方式看似简单，但细节上差异很大。比如是逐图算IoU再平均，还是把所有图的像素汇总起来算一个全局IoU，结果能差好几个点。排行榜一般会说明用的是哪种，照着实现。
第三，确认预处理是否一致。有些方案在推理时做了多尺度测试增强，就是把图缩放到不同尺寸分别预测再融合，这个技巧能涨点，但如果你没做，分数自然低。看论文时要注意它的实验设置里有没有这类技巧。
第四，确认预训练权重是否用了。很多方案的主干网络是在大规模数据集上预训练过的，如果你从随机初始化开始训，分数会差很多。这个信息通常在论文的实验细节里，容易漏看。
5.2 常见问题速查表
| 问题现象 | 可能原因 | 排查方向 | 解决思路 |
|---|---|---|---|
| 验证集IoU始终很低 | 正负样本失衡严重 | 统计篡改像素占比 | 调整损失权重或采样策略 |
| 训练loss震荡不收敛 | 学习率过大或batch过小 | 看loss曲线 | 降学习率、增大batch |
| 预测结果全是背景 | 正样本权重太低 | 看预测概率分布 | 提高正样本损失权重 |
| 预测结果碎块多 | 缺少后处理 | 看输出概率图 | 加连通域过滤或CRF |
| 边界预测不准 | 边缘监督不足 | 看边界区域IoU | 加边缘辅助损失 |
| 推理速度太慢 | 模型过大或输入分辨率过高 | 测单张耗时 | 换轻量主干或降分辨率 |
| 换数据集就崩 | 过拟合训练集 | 看跨集测试结果 | 加数据增强或正则化 |
5.3 几个独家避坑经验
第一个经验：不要迷信排行榜第一。排行榜第一的方案往往结构复杂、参数量大、推理慢，落地成本很高。实际选型时，我一般会看排名前十里哪个方案的推理速度在可接受范围内，然后在这个范围内选IoU最高的。性价比比绝对分数重要。
第二个经验：后处理能救回不少分。网络输出的概率图直接二值化，IoU可能只有零点六几，加一个简单的连通域过滤，把面积小于某个阈值的连通区域判为背景，IoU能涨到零点七以上。这个后处理几乎不增加计算量，但效果立竿见影。阈值怎么定？在验证集上扫一遍，画个IoU随阈值变化的曲线，取峰值就行。
第三个经验：跨数据集测试是照妖镜。在RETOUCH上训好的模型，拿到另一个篡改检测数据集上测，分数往往会掉一大截。这个掉分幅度比绝对分数更能反映模型的泛化能力。如果两个方案在RETOUCH上分数差不多，但一个跨集掉五个点、另一个掉十五个点，选前者。
第四个经验：小面积篡改是真正的难点。排行榜的平均IoU看着不错，但把篡改区域按面积分档统计，小面积那档的IoU往往惨不忍睹。如果你的业务场景里小面积篡改是重点，看排行榜时要专门找那些报告了分档结果的方案，别被平均分忽悠了。
6. 这个排行榜对实际工作的参考价值
排行榜最大的作用，是帮你快速建立对当前技术水平的认知。你知道最好的方案能做到什么程度，就知道自己的模型还有多少提升空间，也知道哪些问题是当前技术解决不了的。比如小面积篡改检测、跨工具泛化、抗二次压缩，这些在排行榜上分数普遍偏低的维度，就是实际落地时的主要风险点。
从选型角度看，排行榜提供了一个候选池。但最终选哪个方案，要结合自己的业务约束来定。推理延迟要求高，就选轻量方案；准确率要求极致，就选重型方案加后处理；数据标注少，就选对预训练依赖强的方案。排行榜给的是参考，不是答案。
从技术演进角度看，排行榜的排名变化本身就是一部微缩的技术史。哪一年什么方法冒出来了，哪个模块被证明有效了，哪个方向大家发现走不通了，都能从排名变动里读出来。顺着这个脉络读论文，比漫无目的地刷arXiv效率高得多。
我自己在实际项目里的体会是，排行榜上的分数和落地效果之间有个折扣系数。实验室环境下的IoU零点八，到了真实业务场景里，因为图像来源多样、压缩历史复杂、篡改工具五花八门，实际可用率可能只有六七成。所以看排行榜时，我会把它的分数打个七折来预估落地效果，这样心理预期比较准，做方案汇报时也不会被质疑。
最后分享一个小技巧：看排行榜时，把每个方案的开源代码链接、预训练模型下载地址、推理速度数据整理成一张表。这张表比排行榜本身更有用，因为它直接告诉你每个方案的使用成本。有些方案分数高但代码不开源，有些开源了但预训练模型不提供，这些信息在选型时比分数更关键。
