1. GFPGAN源码分析第十四篇：人脸修复模型推理全链路拆解

做图像超分和修复方向的朋友，对GFPGAN这个名字应该不陌生。它是一个基于生成对抗网络的人脸修复模型，核心能力是把模糊、低分辨率、带噪点甚至部分损坏的人脸图像，还原成清晰、自然、细节丰富的高质量人脸。我第一次接触它是在处理一批老照片修复需求的时候，当时试了好几种方案，要么细节糊成一团，要么修复后的人脸“塑料感”特别重，直到用上GFPGAN才算找到了一个平衡点。

这个系列写到第十四篇，前面已经陆续拆过它的网络结构、损失函数设计、训练策略、数据预处理管线等内容。这一篇我打算把重心放在推理阶段的全链路上——也就是说，从你输入一张图，到最终拿到修复结果，中间到底经历了哪些环节，每个环节的关键参数怎么调，哪些地方容易踩坑。这部分内容对于想把它集成到实际项目里的朋友来说，是最直接有用的。

适合谁看？如果你已经跑过GFPGAN的Demo，但对内部推理流程还是一知半解；或者你正准备把它部署到自己的应用里，需要搞清楚每一步的输入输出和性能瓶颈；再或者你只是对这个模型的工程实现感兴趣，想看看一个成熟的图像修复模型在推理时到底做了哪些“额外工作”——那这篇内容应该能给你不少参考。

2. 推理管线的整体设计与核心思路

2.1 为什么推理不是“端到端一步到位”

很多人第一次看GFPGAN的推理代码时会有一个疑问：为什么不能直接把图片丢进网络，输出就完事了？实际上，GFPGAN的推理管线比想象中要复杂一些，它包含了好几个前后处理环节。这么设计的原因主要有三个。

第一，人脸修复和通用图像超分不一样。通用超分模型通常是对整张图做统一处理，但人脸区域和背景区域的修复需求完全不同。人脸需要更多的细节还原，而背景往往只需要保持自然即可。如果对整张图用同样的力度去修复，要么人脸不够清晰，要么背景被过度处理变得很奇怪。所以GFPGAN在推理时通常会先做人脸检测，然后针对人脸区域做重点修复，最后再融合回原图。

第二，生成对抗网络的输出需要后处理。GAN类模型的输出有时候会有一些不稳定的伪影或者色彩偏移，直接输出的话观感可能不好。GFPGAN在推理阶段会做一些后处理来平滑这些瑕疵，让结果更稳定。

第三，不同输入质量需要不同的处理策略。一张轻微模糊的图和一张严重退化的图，如果走完全相同的推理流程，效果肯定不理想。GFPGAN的推理管线里有一些自适应机制，会根据输入的质量动态调整处理力度。

注意：理解这个“非端到端”的设计思路非常关键。很多人在集成时直接调用最外层的推理接口，结果发现某些场景下效果不理想，就是因为没有搞清楚内部到底做了哪些事情，没法针对性地调整。

2.2 推理管线的四个核心阶段

把整个推理流程拆开来看，可以分成四个核心阶段：

• 预处理阶段：包括图像读取、色彩空间转换、尺寸调整、归一化等操作。这个阶段的目标是把各种格式的输入统一成模型能接受的张量格式。
• 人脸检测与对齐阶段：使用人脸检测器定位图中的人脸区域，然后根据关键点做对齐操作。这一步决定了后续修复的“靶区”在哪里。
• 模型推理阶段：把预处理好的人脸区域送入GFPGAN网络，得到修复后的高分辨率人脸。
• 后处理与融合阶段：把修复后的人脸贴回原图，做色彩校正、边缘平滑等处理，最终输出完整的结果图。

这四个阶段环环相扣，任何一个环节出问题都会影响最终效果。接下来我会逐个拆解每个阶段的关键细节。

2.3 方案选型背后的考量

GFPGAN在推理管线设计上做了几个重要的技术选型，值得单独说一下。

为什么用人脸检测而不是全图处理？前面提到了人脸和背景的修复需求不同。除此之外还有一个工程上的原因：全图处理的計算量太大。一张1080P的图直接送进网络，显存占用和推理时间都会很夸张。而只处理人脸区域的话，计算量可以控制在一个合理的范围内。

为什么需要人脸对齐？这个问题很多人会忽略。GFPGAN的训练数据是经过对齐的人脸，如果推理时输入的人脸没有对齐，模型看到的“人脸姿态”和训练时分布不一致，修复效果会打折扣。对齐操作就是把不同角度、不同位置的人脸统一到一个标准姿态上，让模型在它“熟悉”的视角下工作。

为什么后处理不能省？我试过跳过某些后处理步骤直接输出，结果就是人脸边缘和原图背景之间会有明显的接缝，色彩也可能对不上。后处理虽然看起来不起眼，但它决定了最终输出的“自然度”。

3. 预处理阶段的细节与实操要点

3.1 图像读取与色彩空间转换的坑

预处理的第一步是读取图像。这里看起来简单，但实际上有不少细节需要注意。

GFPGAN的推理代码通常使用OpenCV或者PIL来读取图像。这两个库在读取图像时有一个关键区别：OpenCV默认使用BGR通道顺序，而PIL使用RGB。如果你用OpenCV读图后直接送入模型，而模型期望的是RGB输入，那结果就会出现色彩偏差——红色和蓝色通道互换了。

我刚开始做集成的时候就踩过这个坑，修复出来的人脸肤色偏蓝，排查了半天才发现是通道顺序的问题。解决办法很简单，用OpenCV读取后加一行cv2.cvtColor(img, cv2.COLOR_BGR2RGB)做转换就行。但如果你没意识到这个问题，可能会在错误的方向上浪费很多时间。

import cv2 import numpy as np # 读取图像 img = cv2.imread('input.jpg') # OpenCV默认BGR，转换为RGB img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 确保数据类型为uint8 if img.dtype != np.uint8: img = img.astype(np.uint8)

另一个需要注意的点是图像的位深。大部分情况下输入是8位图像，但有些专业设备输出的可能是16位图像。GFPGAN的模型是在8位图像上训练的，如果直接送16位图像进去，数值范围对不上，输出会完全乱掉。遇到16位图像需要先做位深转换。

3.2 尺寸调整策略与插值算法选择

GFPGAN对输入尺寸有一定的要求。虽然模型本身可以处理任意尺寸的输入，但为了获得最佳效果，通常会把输入调整到一个合适的范围。

这里有一个经验值：人脸区域的短边最好在512像素左右。太小了模型没有足够的信息去恢复细节，太大了计算量会急剧增加而且效果提升有限。如果检测到的人脸区域小于这个尺寸，需要做上采样；如果远大于这个尺寸，可以适当下采样。

插值算法的选择也有讲究：

实测下来，对于人脸区域的上采样，双三次插值已经能提供不错的效果，而且速度可以接受。如果对质量要求特别高，可以用Lanczos，但推理时间会增加不少。

提示：不要用最近邻插值来处理人脸图像。虽然它速度最快，但会产生明显的锯齿，后续模型很难修复这种人为引入的伪影。

3.3 归一化参数的选择与影响

归一化是预处理中最后一步，也是容易被忽视的一步。GFPGAN在训练时使用的归一化参数是均值0.5、标准差0.5，把像素值从[0, 255]映射到[-1, 1]的范围。

这个参数看起来简单，但如果搞错了，模型输出会完全不对。我见过有人用ImageNet的均值方差来做归一化，结果修复出来的人脸颜色完全偏掉了。原因是GFPGAN的训练数据分布和ImageNet不一样，用错了归一化参数等于给模型输入了一个它从未见过的数据分布。

# 正确的归一化方式 img_normalized = (img / 255.0 - 0.5) / 0.5 # 等价于 img_normalized = img / 127.5 - 1.0

归一化之后还需要做维度变换，把HWC格式（高×宽×通道）转换成NCHW格式（批次×通道×高×宽），因为PyTorch等框架默认使用NCHW格式。

4. 人脸检测与对齐的关键实现

4.1 检测器的选择与参数调优

GFPGAN的推理管线中，人脸检测通常使用RetinaFace或者类似的人脸检测器。选择检测器时需要考虑几个因素：检测精度、速度、以及对小尺寸人脸的敏感度。

RetinaFace的优势在于它对小尺寸人脸的检测能力比较强，而且能同时输出5个关键点（双眼、鼻尖、左右嘴角），这些关键点后续会用于人脸对齐。相比之下，一些人脸检测器只输出边界框，没有关键点，那就需要额外跑一个关键点检测模型，增加了推理时间。

检测器的置信度阈值是一个需要根据实际场景调整的参数。默认值通常在0.5左右，但如果你的图像中人脸比较小或者质量比较差，可以适当降低到0.3甚至0.2，避免漏检。反过来，如果误检比较多（把非人脸区域也框出来了），可以提高阈值到0.7以上。

from retinaface import RetinaFace # 人脸检测 faces = RetinaFace.detect_faces(img, threshold=0.5) # faces是一个字典，每个键对应一张人脸的检测结果 for key, face_info in faces.items(): bbox = face_info['facial_area'] # [x1, y1, x2, y2] landmarks = face_info['landmarks'] # 5个关键点

4.2 人脸对齐的数学原理与实现

人脸对齐的核心思想是通过仿射变换，把人脸的关键点映射到一个标准模板的位置上。这个标准模板通常是基于大量人脸统计得到的一个平均脸的关键点位置。

具体来说，对齐过程分为三步：

1. 获取检测到的5个关键点坐标
2. 计算从当前关键点到标准关键点的仿射变换矩阵
3. 对整个人脸区域应用这个变换

仿射变换矩阵的计算可以使用cv2.estimateAffinePartial2D或者skimage的SimilarityTransform。前者速度更快，后者精度更高。

import cv2 import numpy as np # 标准人脸关键点模板（5点） template_landmarks = np.array([ [38.2946, 51.6963], # 左眼 [73.5318, 51.5014], # 右眼 [56.0252, 71.7366], # 鼻尖 [41.5493, 92.3655], # 左嘴角 [70.7299, 92.2041] # 右嘴角 ], dtype=np.float32) # 检测到的关键点 detected_landmarks = np.array([ landmarks['left_eye'], landmarks['right_eye'], landmarks['nose'], landmarks['mouth_left'], landmarks['mouth_right'] ], dtype=np.float32) # 计算仿射变换矩阵 transform_matrix, _ = cv2.estimateAffinePartial2D( detected_landmarks, template_landmarks ) # 应用变换 aligned_face = cv2.warpAffine( img, transform_matrix, (112, 112) )

对齐后的图像尺寸通常是112×112或者512×512，取决于后续模型的输入要求。GFPGAN的修复网络通常接受512×512的输入，所以对齐后还需要做一次尺寸调整。

4.3 多人脸场景的处理策略

实际应用中，一张图里可能有多个人脸。这时候需要决定是逐个人脸处理还是批量处理。

逐个人脸处理的优点是显存占用低，适合显存有限的场景。缺点是如果人脸数量多，推理时间会线性增长。批量处理则是把多个人脸区域拼成一个批次一起送进网络，能充分利用GPU的并行能力，但显存占用会成倍增加。

我的建议是：如果人脸数量在5个以内，批量处理通常没问题；超过5个的话，可以根据显存情况分批处理，比如每批处理4个。另外要注意，不同人脸的大小可能差异很大，如果直接拼批次，需要统一尺寸，这可能会引入额外的缩放操作。

实操心得：在处理合影类照片时，我习惯先按人脸面积从大到小排序，优先处理大脸。因为大脸的修复效果通常更好，而且如果显存不够导致后面的小脸处理失败，至少主要人物的修复是完成的。

5. 模型推理阶段的核心细节

5.1 网络输入输出的张量形状与含义

GFPGAN的修复网络输入是一个形状为[N, 3, 512, 512]的张量，其中N是批次大小，3是RGB通道数，512×512是空间尺寸。输出同样是[N, 3, 512, 512]，表示修复后的图像。

这里有一个细节需要注意：模型的输出范围是[-1, 1]，和输入一样。所以在后处理时需要先反归一化，把值映射回[0, 255]的范围。

import torch # 假设model是加载好的GFPGAN模型 model.eval() with torch.no_grad(): # 输入张量 input_tensor = torch.from_numpy(img_normalized).permute(2, 0, 1).unsqueeze(0) input_tensor = input_tensor.float().cuda() # 推理 output_tensor = model(input_tensor) # 反归一化 output_img = output_tensor.squeeze(0).permute(1, 2, 0).cpu().numpy() output_img = (output_img + 1.0) / 2.0 * 255.0 output_img = np.clip(output_img, 0, 255).astype(np.uint8)

5.2 推理精度选择：FP32还是FP16

GFPGAN的模型参数量不算小，在FP32精度下推理时显存占用和计算量都比较可观。如果显卡支持FP16，可以开启半精度推理来加速。

FP16推理的优点是速度快、显存占用低，通常能带来1.5到2倍的速度提升。缺点是可能会引入轻微的数值误差，在极少数情况下会导致输出出现伪影。我的经验是，对于人脸修复这个任务，FP16的精度损失几乎看不出来，可以放心使用。

# FP16推理 model.half() input_tensor = input_tensor.half() with torch.no_grad(): output_tensor = model(input_tensor)

不过要注意，有些操作在FP16下可能会溢出，比如某些归一化层。如果开启FP16后输出出现NaN或者异常值，可以尝试用torch.cuda.amp.autocast来做混合精度推理，让部分层保持FP32。

5.3 显存优化与批处理大小选择

显存是推理时最实际的约束之一。GFPGAN在512×512输入下，FP32推理大约需要2-3GB显存，FP16大约需要1-1.5GB。如果显存不够，有几个优化方向：

• 降低批处理大小：从batch=4降到batch=1，显存占用会显著下降，但推理时间会增加。
• 使用FP16：前面提到了，能省将近一半显存。
• 分块处理：把大图切成小块分别处理，但这样会破坏人脸的完整性，不推荐。
• 使用CPU推理：速度会慢很多，但显存不再是问题。适合没有GPU或者GPU显存特别小的场景。

注意：批处理大小不是越大越好。batch太大时，单次推理时间会变长，而且如果中间某个样本出问题，整个批次都要重跑。我一般建议batch设为2到4之间，兼顾效率和稳定性。

6. 后处理与融合阶段的实操细节

6.1 反归一化与色彩校正

模型输出的张量经过反归一化后得到的是[0, 255]范围的RGB图像。但这个图像的色彩分布可能和原图有差异，直接贴回去会显得突兀。

色彩校正的常用方法是做直方图匹配或者均值方差对齐。具体来说，就是计算修复后人脸区域和原图对应区域的均值和标准差，然后做一个线性变换，让修复结果的统计特性接近原图。

def color_correction(source, target): """将source的色彩分布对齐到target""" src_mean = np.mean(source, axis=(0, 1)) src_std = np.std(source, axis=(0, 1)) tgt_mean = np.mean(target, axis=(0, 1)) tgt_std = np.std(target, axis=(0, 1)) # 线性变换 corrected = (source - src_mean) / (src_std + 1e-6) * tgt_std + tgt_mean return np.clip(corrected, 0, 255).astype(np.uint8)

这个操作看起来简单，但对最终观感的影响很大。不做色彩校正的话，修复后的人脸可能会偏亮、偏暗或者偏色，和背景格格不入。

6.2 人脸融合与边缘处理

把修复后的人脸贴回原图时，如果直接做矩形区域的替换，边缘会有明显的接缝。解决办法是做羽化处理，让边缘过渡自然。

羽化的基本思路是生成一个边缘渐变蒙版，在人脸区域内部完全替换，在边缘区域做加权混合。蒙版的生成可以用高斯模糊或者距离变换。

def blend_face(original, repaired, bbox, feather=20): """将修复后的人脸融合回原图""" x1, y1, x2, y2 = bbox h, w = y2 - y1, x2 - x1 # 生成羽化蒙版 mask = np.ones((h, w), dtype=np.float32) for i in range(feather): alpha = i / feather mask[i, :] *= alpha mask[-i-1, :] *= alpha mask[:, i] *= alpha mask[:, -i-1] *= alpha # 扩展为3通道 mask = np.stack([mask] * 3, axis=-1) # 融合 original_region = original[y1:y2, x1:x2].astype(np.float32) repaired_region = repaired.astype(np.float32) blended = original_region * (1 - mask) + repaired_region * mask original[y1:y2, x1:x2] = np.clip(blended, 0, 255).astype(np.uint8) return original

羽化宽度需要根据人脸区域的大小来调整。人脸大就宽一点，人脸小就窄一点。一般取人脸宽度的5%到10%比较合适。

6.3 多尺度融合策略

对于质量特别差的输入，单次修复可能效果不够理想。这时候可以用多尺度融合的策略：先把图像缩放到不同尺寸，分别做修复，然后把结果融合起来。

这个思路的原理是：不同尺度下模型关注的信息不同。大尺度下模型更关注整体结构和轮廓，小尺度下更关注细节和纹理。把多个尺度的结果融合，可以兼顾结构和细节。

具体做法是：

1. 把对齐后的人脸分别缩放到512、256、128三个尺寸
2. 每个尺寸分别送进模型推理
3. 把三个结果都放大到512，做加权平均

权重可以根据实际效果调整，我一般用0.5、0.3、0.2的权重分配，大尺度占主导。

实操心得：多尺度融合对严重退化的图像效果提升明显，但推理时间会变成原来的三倍。如果对速度有要求，可以只在检测到输入质量特别差时才启用这个策略。

7. 常见问题与排查技巧实录

7.1 输出人脸偏色或色彩异常

这是最常见的问题之一。排查思路按以下顺序进行：

大部分偏色问题都出在前三步。如果前四步都没问题，那可能是模型权重加载错了，比如混用了不同版本或者不同训练阶段的权重。

7.2 修复后人脸模糊无改善

如果修复后的人脸和输入差不多，甚至更模糊，可能的原因有：

• 输入尺寸不对：如果输入人脸区域太小（比如小于128×128），模型没有足够的信息去恢复细节。解决办法是先做上采样再送进模型。
• 对齐失败：如果关键点检测不准，对齐后的人脸是歪的，模型处理效果会很差。可以检查关键点检测的可视化结果。
• 模型未正确加载：确认模型权重文件完整，没有加载失败。
• 推理精度问题：FP16下如果出现数值下溢，可能导致输出异常。可以切回FP32测试。

7.3 显存溢出与性能瓶颈

显存溢出通常发生在处理大图或者批量处理时。除了前面提到的降低batch size和用FP16之外，还有一个技巧是及时释放中间变量。

import torch import gc # 推理完成后及时释放 del input_tensor, output_tensor torch.cuda.empty_cache() gc.collect()

另外，如果发现推理速度比预期慢很多，可以检查一下是不是在CPU上跑了。有时候CUDA不可用或者版本不匹配，PyTorch会静默回退到CPU，速度会慢几十倍。用torch.cuda.is_available()确认一下。

7.4 人脸边缘出现明显接缝

接缝问题通常是融合阶段没做好。检查以下几点：

• 羽化蒙版是否生成正确，边缘是否有渐变
• 修复后的人脸和原图对应区域的色彩是否对齐
• 人脸框的位置是否准确，有没有偏移

如果羽化宽度太小，接缝会明显；如果太大，人脸中心区域可能会被原图的低质量内容“污染”。我一般会做人脸宽度的8%作为羽化宽度，大部分场景下效果比较自然。

7.5 多人脸场景下部分人脸未修复

这个问题通常是检测器漏检导致的。排查方向：

• 降低检测置信度阈值
• 检查图像中的人脸是否太小（小于20×20像素的人脸检测器很难检出）
• 检查人脸是否被遮挡严重

如果确实有漏检，可以考虑用滑动窗口的方式做补充检测，或者换一个对小脸更敏感的检测器。

8. 推理性能优化的几个实战方向

8.1 模型导出与加速

PyTorch模型可以通过导出为ONNX或者TensorRT来加速推理。ONNX Runtime在CPU上的推理速度通常比原生PyTorch快不少，而TensorRT在NVIDIA GPU上能带来更大的提升。

导出ONNX的基本流程：

import torch.onnx # 准备示例输入 dummy_input = torch.randn(1, 3, 512, 512).cuda() # 导出 torch.onnx.export( model, dummy_input, "gfpgan.onnx", input_names=["input"], output_names=["output"], dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}}, opset_version=11 )

导出时要注意opset版本的选择。版本太低可能不支持某些算子，版本太高可能某些推理引擎还不兼容。opset 11是一个比较稳妥的选择。

8.2 推理管线的并行化

如果处理的是视频或者批量图片，可以考虑把预处理、推理、后处理做成流水线并行。比如用多线程做预处理和后处理，GPU专门负责推理。这样能把GPU的利用率拉满，整体吞吐量能提升不少。

实现上可以用Python的concurrent.futures或者queue来做生产者-消费者模型。预处理线程把处理好的张量放进队列，推理线程从队列取数据送GPU，后处理线程处理推理结果。

注意：并行化会引入额外的内存开销，因为同时会有多个中间结果存在。需要根据实际内存情况调整队列长度和线程数量。

8.3 缓存机制的合理使用

如果同一个视频或者同一批图片中有人脸重复出现，可以考虑加缓存。比如视频中同一个人物在多帧中出现，如果人脸姿态变化不大，可以复用之前的修复结果，只做轻微的融合调整。

缓存的key可以用人脸特征的哈希值，或者简单地用对齐后人脸图像的感知哈希。缓存命中时直接取结果，能省下大量推理时间。

这个策略在视频修复场景下特别有效。我实测过一个访谈类视频，人物基本不动，开启缓存后整体处理时间减少了60%以上。

9. 一些个人体会

GFPGAN的推理管线看起来步骤多，但每一步都有它存在的理由。我刚开始做集成的时候也想过能不能简化，比如跳过对齐直接送网络，或者不做色彩校正直接贴回去。实测下来，这些“简化”都会在不同场景下暴露出问题。

对齐这一步尤其不能省。我试过用未对齐的人脸直接推理，对于正脸效果还行，但侧脸或者俯仰角稍大的人脸，修复效果会明显下降。原因是模型在训练时看到的都是对齐后的人脸，它学到的先验知识是建立在标准姿态上的。

色彩校正和羽化融合这两步，在单张图上看可能差别不大，但在批量处理或者视频场景下，不做的话观感会差很多。尤其是视频，帧与帧之间如果有色彩跳变或者接缝闪烁，看起来会非常难受。

另外说一个实际部署时的经验：推理服务的显存管理很重要。如果服务是常驻的，一定要确保每次推理后及时释放中间变量，不然跑一段时间后显存会慢慢涨上去，最终OOM。我一般会在推理函数里加try...finally块，确保异常情况下也能释放资源。

最后，GFPGAN虽然效果不错，但它不是万能的。对于严重遮挡、极端光照或者超大姿态的人脸，修复效果仍然有限。在实际项目中，我通常会把它和其他技术组合使用，比如先用一个轻量级的增强模型做预处理，再用GFPGAN做精细修复，这样整体效果会更稳定。