做图像调优的人，多半被问过这个问题：ISP 前处理和后处理到底怎么分？有人说是去马赛克之前和之后，有人说是 RAW 域和 YUV 域，还有人干脆按“修数据”和“调味道”来切。这个问题看着像概念辨析，实际上它直接决定了你调参的顺序、降噪放在哪一级、噪声模型怎么建，甚至决定了硬件模块该切给 Sensor 端的片上 ISP 还是主控侧的后处理单元。我做过几年画质调优，见过太多项目因为前后处理边界没理清，前处理的黑电平没扣干净，后处理把锐化和饱和度拉到爆，最后画面又脏又假，回头一看是链路位置放错了。

ISP 前处理，指的是图像信号从 Sensor 输出之后、进入颜色重建和显示映射之前这一段的校正类处理，核心任务是把模拟世界带进来的“脏数据”洗干净、拉回线性可计算的物理量；ISP 后处理，则是图像完成颜色重建之后，面向人眼观感和编码需求的增强类处理，核心任务是把“正确的图”变成“好看的图”。这篇文章会把这条链路从头到尾拆一遍，讲清楚每个模块为什么放在那个位置、放错了会出什么问题，附上可以直接抄的参数和代码片段。不管你是刚接触画质调优的新人，还是已经能独立跑通一条 pipeline 的老手，都能从里面找到能直接用的东西。

1. ISP 流水线的整体认知与前后处理边界

先把整条链路铺开看。光线穿过镜头、滤光片，打到 Sensor 的像素阵列上，光子转电子、电子转电压、电压经模拟增益和 ADC 变成数字码值，这时候出来的是 Bayer 格式的 RAW 数据，每个像素只有 R、G、B 中的一个分量。这份 RAW 数据就是 ISP 的输入原料，后面所有事情都是在这份原料上做文章。从 RAW 到最终能给人看的 YUV 或 RGB，中间要经过十几级处理，这十几级怎么切分成前段和后段，就是本文要讨论的核心。

1.1 从光子到像素：一条完整链路的真实模样

我习惯把整条链路画成四段：光学段、感光段、校正段、呈现段。光学段是镜头和红外截止滤光片，负责把场景成像到 Sensor 面上；感光段是像素阵列、模拟增益、ADC，负责把光强转成数字码值；校正段就是狭义的前处理，包含黑电平校正、坏点修复、镜头阴影校正、Bayer 域降噪、白平衡增益、颜色校正矩阵；呈现段就是狭义的后处理，包含去马赛克之后的伽马、色调映射、色彩增强、锐化、局部对比度、缩放裁剪。

这里有个容易被忽略的点：去马赛克本身不算前处理也不算后处理，它是分界线。去马赛克之前，数据是每个像素单色的 CFA 排列，处理手段必须考虑通道交错的空间关系；去马赛克之后，每个像素有了完整的 RGB 三元组，处理手段就变成了常规的图像处理。这条线一划，两边的算法工具箱完全不同，所以很多团队干脆把去马赛克叫“中处理”，前后各管一摊。

实际项目里，链路顺序大致是这样的：RAW 输入 → 黑电平校正 → 静态坏点校正 → 镜头阴影校正 → 动态坏点校正 → Bayer 域降噪 → 白平衡增益 → 去马赛克 → 颜色校正矩阵 → 伽马 → 色彩增强 → 亮度锐化 → 色度降噪 → 缩放输出。这个顺序不是随便排的，每一步的位置都有物理依据，后面几节会逐个解释。

1.2 三种划分口径：位置、数据域、职责

我问过不少同行“你怎么分前后处理”，答案基本落在三种口径上，每种都有道理，但混着用就会吵架。

第一种是按位置分：Sensor 输出到去马赛克之前叫前处理，去马赛克之后到输出叫后处理。这种分法最直观，工程上也好落地，硬件模块的边界基本就是这么切的。

第二种是按数据域分：线性 RAW 域叫前处理，非线性 RGB/YUV 域叫后处理。这种分法的依据是数学性质，线性域里叠加、缩放、矩阵乘法都成立，非线性域里这些运算的物理意义就变了。

第三种是按职责分：把数据修正确叫前处理，把图像调好看叫后处理。这种分法最贴近调优的实际感受，但边界最模糊，因为“正确”和“好看”之间有一大片灰色地带，比如饱和度增强到底算不算修正。

我个人的用法是：对外沟通按位置说，对内调参按数据域想。跟硬件同事对齐模块归属时用第一种，自己坐下来调参数时用第二种。这样既不吵架，也不出错。

1.3 为什么这条边界值得较真

边界不清的代价是很具体的。最典型的是降噪：把降噪放在去马赛克之后，你会看到画面里那些彩色的斑点，因为去马赛克把单通道噪声插值成了三通道噪声，原本亮度上的随机起伏变成了色度上的红斑绿斑，这时候再做降噪，就得同时处理亮度噪声和色度噪声，滤波器的设计难度翻倍，还容易把细节一起抹掉。反过来，在 Bayer 域做降噪，噪声还是单通道的随机起伏，用方向性滤波就能压得很干净，代价是计算量集中在前段。

第二个代价是噪声模型失效。线性域里噪声标准差和信号强度基本是线性关系，你可以用一个简单的斜率参数描述整个动态范围的噪声特性；一旦过了伽马，信号被非线性拉伸，暗部噪声被显著放大，同一个噪声模型在整个码值范围内就不再适用。这时候降噪强度如果还按线性域的思路给，暗部会糊成一片，亮部又压不住。

第三个代价是调参顺序混乱。我见过有人先调锐化再调黑电平，结果黑电平一动，整张图的对比度基准变了，锐化的过冲阈值全部失效，前面调的几百个参数白干。正确的顺序必须是前处理全部锁定之后再动后处理，因为后处理的输入分布依赖于前处理的输出。

提示：接手一个陌生项目，第一件事是把链路顺序打印出来贴在显示器边上，每调一个模块就在上面标一下。链路顺序错了，后面所有努力都是负收益。

2. 前处理：把模拟世界的脏数据洗成可用素材

前处理这一段的核心目标只有一个：把 Sensor 吐出来的数字码值，还原成和场景辐亮度成线性比例关系的物理量。听起来简单，做起来要跟一堆非理想因素搏斗——暗电流、像素响应不一致、镜头渐晕、颜色串扰、随机噪声，每一个都得单独对付。这一段做得好不好，决定了后面所有处理的天花板。

2.1 黑电平校正与坏点修复：先擦干净桌子

黑电平是 Sensor 在完全无光条件下输出的码值，来源是像素的暗电流和读出电路的偏置。它的存在意味着“0”这个码值并不对应“0 光强”。如果不扣掉，整张图会蒙上一层灰，暗部细节全被压在这层灰里。更麻烦的是，黑电平会随模拟增益和温度漂移，高增益下可能从 64 LSB 涨到 200 LSB 以上。

扣黑电平必须放在数字增益之前。原因很简单，数字增益是一个乘法操作，黑电平是加性偏置，先乘后减和先减后乘的结果差了一个增益倍数。假设黑电平 64，数字增益 4 倍，先乘再减会得到 (x·4 - 64)，而正确结果应该是 (x - 64)·4。前者在暗部会残留 3 倍的黑电平残余，画面发灰，暗部细节全丢。

实际工程里，黑电平不是简单减一个常数，而是按增益档位和温度分档查表。我通常用 OB（光学黑）区的平均值作为当前帧的黑电平估计，再和标定表做融合，防止 OB 区被污染时整帧偏色。

import numpy as np def black_level_correction(raw, ob_pixels, bl_table, gain_idx, temp_idx): """ raw: 输入 RAW 数据，H x W，uint16 ob_pixels: OB 区像素，用于实时估计 bl_table: 标定黑电平表 [gain_idx][temp_idx] -> dict(r, gr, gb, b) """ bl_ref = bl_table[gain_idx][temp_idx] # 用 OB 区实时估计与标定值做加权融合，OB 异常时依赖标定 bl_est = np.mean(ob_pixels) alpha = 0.3 if abs(bl_est - bl_ref['gr']) < 32 else 0.0 bl = alpha * bl_est + (1 - alpha) * bl_ref['gr'] out = raw.astype(np.int32) - int(round(bl)) return np.clip(out, 0, 65535).astype(np.uint16)

坏点分静态和动态两类。静态坏点出厂标定，存一张坐标表，上电时直接查表替换；动态坏点靠邻域判断，当前像素和上下左右四个同色像素的差值超过阈值就判定为坏点。动态坏点的阈值不能给太死，高 ISO 下噪声本身就大，阈值太严会把正常噪声当成坏点，画面会变得像塑料。

注意：动态坏点校正一定要放在降噪之前，否则坏点会被降噪滤波器扩散成一片，越滤越脏。这个顺序我见过不止一个项目搞反。

2.2 镜头阴影校正：不均匀的光照得先摊平

镜头阴影的来源是镜头的余弦四次方衰减和像素的斜入射响应，表现是画面四角发暗、边缘色偏。校正方法是标定一张增益网格，每个网格点上存 R、Gr、Gb、B 四个通道的增益系数，运行时双线性插值，把边缘乘回去。

标定的网格密度我一般用 16×13 或者 32×32。密度太低，插值误差会在网格交界处形成可见的块状边界；密度太高，存储和插值开销上去了，收益不明显。16×13 对大多数定焦镜头够用，广角镜头建议 32×32。

这里有个必须说清楚的点：LSC 是乘法增益，会同时放大信号和噪声。画面中心增益 1.0，四角可能到 2.0 甚至 2.5，也就是说边缘的噪声被放大了 2 倍以上。这意味着边缘的信噪比天然比中心差，降噪强度必须做空间自适应，不能全图一个参数。我调过的项目里，边缘彩色噪点压不住，八成是 LSC 增益给太猛加上降噪没做空间加权。

def lsc_apply(raw, mesh_gain, bayer_pattern='RGGB'): """ mesh_gain: (h, w, 4) 的增益网格，通道顺序按 bayer_pattern 实际实现用双线性插值，这里给出最近邻简化版说明逻辑 """ H, W = raw.shape gh, gw = mesh_gain.shape[:2] out = raw.astype(np.float32) for ch, (dy, dx) in enumerate([(0,0),(0,1),(1,0),(1,1)]): # 按通道切片，仅处理对应相位 sub = out[dy::2, dx::2] gain = mesh_gain[:, :, ch] # 网格坐标映射到子图坐标 ys = np.linspace(0, gh - 1, sub.shape[0]) xs = np.linspace(0, gw - 1, sub.shape[1]) gy, gx = np.meshgrid(ys, xs, indexing='ij') y0, x0 = np.floor(gy).astype(int), np.floor(gx).astype(int) y1, x1 = np.minimum(y0+1, gh-1), np.minimum(x0+1, gw-1) fy, fx = gy - y0, gx - x0 g = (gain[y0,x0]*(1-fy)*(1-fx) + gain[y0,x1]*(1-fy)*fx + gain[y1,x0]*fy*(1-fx) + gain[y1,x1]*fy*fx) out[dy::2, dx::2] = sub * g return np.clip(out, 0, 65535).astype(np.uint16)

LSC 还有一个隐蔽的坑：增益网格和色温绑定。不同色温下镜头的透过率曲线不一样，同一张网格在暖光下可能把边缘压得刚好，到了冷光下就过校正，边缘反而发亮发蓝。正经做法是按几个色温档位分别标定，运行时按 AWB 的估计结果插值选表。

2.3 Bayer 域降噪：为什么一定要在去马赛克之前做

这个问题我被问过很多次。答案在噪声的统计特性里：RAW 域的噪声是单通道的，每个像素只有一个观测值，噪声表现为该像素相对真实值的随机起伏，空间上是各向同性的；去马赛克的过程本质是插值，它把相邻同色像素的观测值加权组合，噪声也被一起插值，结果是原本独立的单通道噪声变成了三个通道间相关的噪声，视觉上就是彩色斑点。

彩色斑点的处理难度远高于亮度噪声，因为人眼对色度噪声的容忍度低，但色度降噪又特别容易把颜色边界糊掉，导致高饱和区域出现颜色渗漏。所以工程上的标准做法是：在 Bayer 域尽量把噪声压下去，去马赛克之后只做轻量的色度残留清理。

Bayer 域降噪的常用手段有三类。第一类是基于方向性的滤波，先算水平和垂直方向的梯度，沿梯度小的方向滤波，避免跨越边缘；第二类是频域方法，小波变换后对高频子带做阈值收缩；第三类是基于噪声模型的自适应滤波，把噪声标准差作为滤波强度的输入，暗部强、亮部弱。我实测下来，方向性滤波加噪声模型自适应的组合性价比最高，算力可控，效果也稳。

def bayer_denoise(raw, noise_sigma, strength=1.0): """ 简化版：基于同色邻域的方向性加权平均 noise_sigma: 当前 ISO 下的噪声标准差估计 """ kernel = np.array([[0,1,0],[1,0,1],[0,1,0]], dtype=np.float32) # 同色邻域均值（Bayer 上同色像素间隔 2） neighbor_sum = ( np.roll(raw, 2, axis=0) + np.roll(raw, -2, axis=0) + np.roll(raw, 2, axis=1) + np.roll(raw, -2, axis=1) ).astype(np.float32) / 4.0 # 权重随噪声水平自适应，噪声大时更相信邻域 w = np.clip(noise_sigma / 32.0, 0.0, 0.9) * strength out = raw.astype(np.float32) * (1 - w) + neighbor_sum * w return np.clip(out, 0, 65535).astype(np.uint16)

注意：Bayer 域降噪的强度必须跟 ISO 联动。固定强度在高 ISO 下压不住，在低 ISO 下又会把皮肤纹理磨成塑料。这个联动曲线是画质调优里最需要手工打磨的部分之一。

2.4 白平衡增益与颜色校正矩阵：把颜色拉回真实

白平衡增益是一个对角矩阵，分别乘在 R、G、B 三个通道上，把灰色物体在任意色温光源下都拉成灰色。它在去马赛克之前做，因为 RAW 域的通道是分离的，直接乘增益等价于在线性域缩放，物理意义清晰。如果放到去马赛克之后再做，插值过程会引入通道间串扰，增益就不再是纯粹的对角操作了。

颜色校正矩阵 CCM 是一个 3×3 矩阵，作用是把 Sensor 的光谱响应映射到目标色彩空间。它必须放在去马赛克之后、伽马之前。放去马赛克之前，每个像素只有一个通道，矩阵乘法无从谈起；放伽马之后，数据已经非线性，矩阵乘法会把中间调的色调拉歪，出现明显的偏色。

CCM 有两个硬性约束必须遵守。第一，行列和归一，也就是每一行三个系数加起来等于 1，保证灰色物体经过矩阵变换后仍然是灰色，否则整张图会出现跟随亮度的色偏。第二，负系数要限幅，矩阵里出现负值是正常的，但过大的负系数会让高饱和颜色出现异常，工程上一般把单元素限制在 [-1, 2] 区间内。

def ccm_apply(rgb, ccm): """ rgb: H x W x 3, float32, 线性域 ccm: 3 x 3, 行和归一 """ assert np.allclose(ccm.sum(axis=1), 1.0, atol=1e-3), "CCM 行和必须归一" out = rgb @ ccm.T return np.clip(out, 0, 65535)

CCM 会放大噪声，这是它的固有缺陷。矩阵元素越偏离单位阵，噪声放大倍数越高。工程上会计算 CCM 的噪声放大系数，作为后续降噪强度的输入之一。我一般会在调 CCM 的时候同时看两个指标：色卡上的 ΔE 误差和噪声放大系数，在两者之间找平衡。追求极致色准把 CCM 拉得很猛，噪点会明显劣化，用户第一眼看到的往往是噪点而不是色准。

2.5 前处理参数配置与实操心得

前处理的参数多而杂，我习惯把它们整理成一张表，调参时按顺序过一遍，避免遗漏。

我个人的调参顺序是：黑电平 → 静态坏点 → LSC → 白平衡 → CCM → Bayer 降噪。降噪放最后，是因为它的噪声模型依赖前面所有模块的输出统计特性，前面一变，降噪参数就得重调。这个顺序反过来做，你会反复推翻自己的结论。

3. 后处理：从“正确”到“好看”的最后一公里

前处理做完，图像在物理上是“正确”的：灰是灰，红是红，暗部没有偏置，四角亮度均匀。但这张图拿给人看，多半会被评价“平淡”“发灰”“不够锐”。原因在于人眼的感知特性和物理量的线性关系并不一致，后处理要做的就是把线性数据映射到符合人眼预期的非线性空间，再补上观感层面的增强。

3.1 伽马与色调映射：把线性数据装进 8bit 的盒子里

人眼对亮度的感知接近幂律关系，大致是亮度的 2.2 次方根。而显示设备和存储格式普遍只有 8bit，线性映射到 8bit 会让暗部层次全部挤在少数几个码值里，看上去就是一片死黑。伽马校正把线性数据做一次幂运算，把暗部的码值拉开，亮部压缩，让 256 个码值在人眼感知上均匀分布。

伽马的位置很关键。它标志着数据从线性域进入非线性域，也就标志着一大堆线性运算不能再做了。矩阵乘法、叠加、缩放这些操作放在伽马之后，物理意义全部失效，结果的色调会随亮度漂移。所以我把伽马叫做后处理的“门槛”，跨过去之后，工具箱就换了一套。

实际实现上很少用纯幂函数，常用的是分段函数：暗部用线性段保证黑位不糊，中间调用幂函数，亮部做软截断避免高光死白。这种分段做法在数学上稍微复杂，但在暗部细节和噪声控制上的收益很明显。

def gamma_encode(linear, gamma=2.2, linear_seg=0.0031308): """ 线性 RGB [0,1] 转非线性，带线性段 """ out = np.where( linear <= linear_seg, linear * 12.92, 1.055 * np.power(np.clip(linear, 1e-6, 1.0), 1/2.2) - 0.055 ) return np.clip(out, 0.0, 1.0)

HDR 场景下还会叠加局部色调映射，把高动态范围压缩到显示设备能呈现的范围内。这一步的调参极其主观，压得太狠画面发灰失去层次，压得太松高光直接过曝。我一般用直方图分布来判断：压缩后中间调的直方图应该是平缓的单峰，如果出现明显的双峰或者长尾，说明映射曲线有问题。

3.2 锐化与边缘增强：在正确的域里做正确的事

锐化的本质是提升高频分量，让边缘过渡变陡，观感上更清晰。经典做法是 USM（非锐化掩模）：先用低通滤波得到模糊图，原图减模糊图得到高频细节，再按系数加回原图。

锐化必须放在伽马之后，而且是只在亮度通道上做。放伽马之前，暗部的高频被放大后经过伽马拉伸，暗部会出现夸张的白边；在三通道上同时锐化，色度边缘会被强化，出现彩色描边。只在 Y 通道锐化，色度保持平滑，观感最自然。

def unsharp_mask(y, amount=0.8, radius=1.0, threshold=2, clip_limit=24): """ y: 亮度通道 [0,255] uint8 对过冲做限幅，防止白边黑边 """ from scipy.ndimage import gaussian_filter yf = y.astype(np.float32) blur = gaussian_filter(yf, sigma=radius) detail = yf - blur # 低于阈值的细节视为噪声，不锐化 detail = np.where(np.abs(detail) < threshold, 0, detail) out = yf + amount * detail # 过冲限幅：相对原图的偏差不超过 clip_limit out = np.clip(out, yf - clip_limit, yf + clip_limit) return np.clip(out, 0, 255).astype(np.uint8)

过冲限幅这一步绝对不能省。没有限幅的 USM 会在强边缘两侧制造亮暗光晕，画面看起来像刻上去的，放大看尤其明显。限幅范围我一般给 ±16 到 ±24 LSB，具体看输出分辨率，小图可以放宽一点，大图必须收紧。

3.3 色彩增强与局部对比度：调的是记忆色不是真实色

色彩增强分两部分：饱和度提升和肤色保护。全局饱和度提升会等比放大所有颜色的饱和度，高饱和区域容易溢出，人眼最敏感的是肤色，一旦肤色过饱和就会显得油腻、发红。做法是在饱和度曲线上做分区，低饱和区域轻度提升，高饱和区域抑制，同时对肤色色相范围做单独的保护带。

肤色的保护范围用 HSV 空间里的椭圆区域描述比较方便，中心在色相约 25 度、饱和度 0.4 附近，长短轴根据实际肤色标定。落在这个区域内的像素，饱和度增益强制压到 1.0 以下。

局部对比度提升是另一个大类，本质是提升中频分量，让画面更有立体感。常用的方法是大尺度低通滤波得到基础层，原图减基础层得到细节层，细节层乘系数后加回去。系数给大了，画面会出现明显的halo，尤其在天空和建筑的边界处，看起来像贴纸。

这里有个心得：局部对比度的强度要跟场景内容联动。人像场景要压，风景场景可以放，文字场景要几乎关掉。全局一个参数在多种场景下必然翻车。

3.4 3A 与后处理的耦合关系

3A（AE、AWB、AF）虽然是独立模块，但和前后处理深度耦合。AE 决定了曝光时间和增益，直接影响噪声水平，而噪声水平是降噪强度和锐化强度的输入；AWB 决定了白平衡增益，间接影响 CCM 的选择和色彩增强的基准；AF 的结果影响局部区域的清晰度评估，锐化强度有时会依赖对焦区域的统计。

我遇到过最典型的耦合问题是：AE 在暗光下拉高增益，噪声暴增，但降噪强度曲线是固定的，结果画面噪点明显；同时锐化强度也是固定的，锐化把噪声当细节放大，画面又脏又硬。解决办法是让降噪和锐化都读取当前的 ISO 和曝光时间，做动态曲线。这个联动逻辑必须写进调参规范里，不能靠调参工程师凭感觉给。

3.5 后处理顺序的坑与量化误差

后处理的顺序错了，问题比前处理更隐蔽，因为图像看起来“还行”，只是不够好。常见的错误顺序是：先锐化再降噪，降噪会把锐化出来的细节一起磨掉，锐化白做了；先色彩增强再伽马，颜色会随亮度漂移；先缩放再锐化，缩放把细节插值掉了，锐化放大的是插值伪影。

量化误差是另一个隐蔽问题。8bit 输出的码值间隔是 1/255，弱细节在量化时会被截断，尤其是在平坦区域，会出现明显的色阶断层（banding）。工程上的解法是在后处理内部保持 10bit 或 12bit，只在线路末端做 dithering 后降到 8bit。

提示：如果你看到画面大面积平坦区域出现一圈一圈的色带，先别怀疑算法，先检查位宽在哪一级被降到了 8bit。

4. 前后处理的分工原则与工程取舍

知道了每个模块该干什么，接下来是更实际的问题：这些模块该切成什么样，交给谁做。同一个功能，放在 Sensor 端的片上 ISP 里做，和放在主控侧的软件后处理里做，成本、延迟、画质上限完全不同。这一节讲取舍逻辑。

4.1 线性域做事，非线性域做感觉

这是我总结的一条最简原则。凡是涉及物理量运算的操作，都放在线性域：黑电平、增益、阴影校正、白平衡、颜色矩阵、降噪。凡是涉及人眼感知的操作，都放在非线性域：伽马、锐化、饱和度、局部对比度。

为什么要这么分？因为线性域的运算满足叠加原理，你可以把多个模块的传递函数合并成一个矩阵，调试时可以单独验证每个模块的增益，出了问题容易定位。非线性域不满足叠加原理，模块顺序变了结果就变，但人眼的感知恰恰是非线性的，增强类操作只有放在非线性域才符合观感预期。

违反这条原则的典型例子是在线性域做锐化。线性域里暗部的绝对值很小，同样的高频增量在暗部占比极大，锐化后暗部会出现夸张的噪点和光晕，亮部反而看不出效果。反过来在非线性域做增益，暗部被伽马拉伸后增益的放大倍数不一致，整张图的亮度关系会乱。

4.2 位宽与精度预算：每一步都在丢信息

整条链路的位宽预算是必须提前规划的。Sensor 输出 10bit 或 12bit，前处理内部通常要扩到 14bit 或 16bit，因为 LSC 增益和 CCM 都会放大数值范围，不给余量会溢出截断。后处理在伽马之前保持 12bit 以上，伽马之后可以降到 10bit，最终输出再降到 8bit。

位宽不够的后果是截断和量化噪声。LSC 四角增益 2.5 倍时，12bit 输入乘以 2.5 需要至少 14bit 才不溢出；CCM 的负系数会让某些通道的中间结果超出输入范围，同样需要余量。我一般按“最大增益 × 输入位宽 + 2bit 余量”来估算内部位宽。

4.3 硬件资源与延迟约束下的方案选择

片上 ISP 的优势是延迟低、功耗低、带宽省，缺点是算法固化、调参空间小、迭代周期长。软件后处理的优势是灵活、可迭代、算法上限高，缺点是延迟高、功耗大、占用主控算力。

选择依据主要是产品形态。对延迟敏感的场景，比如车载倒车影像、工业检测，必须把关键处理放在片上 ISP，保证端到端延迟在几十毫秒以内；对画质上限要求高、迭代频繁的场景，比如内容创作设备，可以把增强类后处理放到软件侧，随时更新算法。

4.4 不同产品形态的分工方案对比

机器视觉这一类特别值得说。它的目标和消费影像完全相反，不需要“好看”，需要“可测量”。所以它的后处理往往跳过伽马、锐化、色彩增强这些观感类模块，直接输出线性数据做测量算法，前处理的精度和可复现性反而要求极高。

5. 实操：搭一条最小可用的处理链路

光讲原理不够，我把一条能跑起来的最小链路写出来，你可以直接拿一份 RAW 数据跑通，观察每个模块的效果。代码用 Python 和 NumPy，重点在流程和参数，不在性能优化。

5.1 数据约定与输入准备

输入假定是 12bit 打包的 Bayer RAW，排列为 RGGB，尺寸 1920×1080。读取后先解包成 16bit 的二维数组，再按 2×2 相位切出四个通道。

import numpy as np def unpack_mipi_raw12(buf, width, height): """12bit 紧凑打包解包，每 3 字节存 2 个像素""" b = np.frombuffer(buf, dtype=np.uint8) b = b.reshape(-1, 3).astype(np.uint16) p0 = (b[:, 0] << 4) | (b[:, 1] >> 4) p1 = ((b[:, 1] & 0x0F) << 8) | b[:, 2] inter = np.empty(p0.size + p1.size, dtype=np.uint16) inter[0::2] = p0 inter[1::2] = p1 return inter.reshape(height, width)

数据准备好之后，先做一次统计：看全图的最小值、最大值、均值，以及 OB 区的均值。这一步能快速判断黑电平是否异常、是否有过曝区域，比直接跑算法有效得多。

5.2 前处理链路的串接

前处理按前面讲的顺序串起来：黑电平 → 静态坏点 → LSC → 白平衡 → Bayer 降噪 → 去马赛克 → CCM。每一步的输出都存一份中间结果，方便对比。

def preprocess_pipeline(raw, cfg): x = black_level_correction(raw, cfg['ob'], cfg['bl_table'], cfg['gain_idx'], cfg['temp_idx']) x = static_dpc(x, cfg['dpc_map']) x = lsc_apply(x, cfg['lsc_mesh']) x = white_balance(x, cfg['wb_gain']) x = bayer_denoise(x, cfg['noise_sigma'], cfg['dn_strength']) rgb = demosaic(x, pattern='RGGB') rgb = ccm_apply(rgb, cfg['ccm']) return rgb

去马赛克这里我用的是边缘自适应插值，核心思路是对 G 通道先做方向判断，沿梯度小的方向插值，R/B 通道再用 G 的结果做色差插值。这个实现比双线性复杂一些，但在高频纹理区域的伪彩明显更少，值得多写几十行。

中间结果一定要存图看。我习惯把每个模块的输出都存成 PNG，用同一块区域做对比，尤其是暗部区域和高频纹理区域。数字指标只能告诉你“变了多少”，看不出“变好还是变坏”。

5.3 后处理链路的串接

后处理从线性 RGB 开始：伽马 → 色彩增强 → 锐化 → 输出。注意伽马是分界线，伽马之前的数据还在线性域，之后的数据是非线性域。

def postprocess_pipeline(rgb_linear, cfg): rgb = rgb_linear / cfg['white_level'] rgb = gamma_encode(rgb, gamma=cfg['gamma']) yuv = rgb_to_yuv(rgb) yuv[..., 1:] = chroma_denoise(yuv[..., 1:], cfg['chroma_dn']) yuv[..., 0] = unsharp_mask(yuv[..., 0] * 255, amount=cfg['sharp_amount'], threshold=cfg['sharp_thr'], clip_limit=cfg['sharp_clip']) / 255 yuv[..., 1:] = color_enhance(yuv[..., 1:], cfg['sat_curve'], cfg['skin_protect']) return yuv_to_rgb(yuv)

后处理的参数我建议分场景存几套：人像、风景、低照度、文档，切换时整组加载，而不是单参数微调。单一场景下调得再好，换场景必然出问题。

5.4 调参顺序与验证方法

调参顺序必须严格从前到后：黑电平 → 坏点 → LSC → 白平衡 → CCM → 降噪 → 伽马 → 色彩 → 锐化。每次只动一个模块，改完立刻看中间结果，确认无误再进下一个。跳步调参是最常见的时间黑洞。

验证用标准图卡最省事。灰卡验证黑电平、白平衡和 CCM 的行和归一；色卡验证色彩还原，看 ΔE 的分布，重点看肤色的几个色块；噪声图卡验证降噪强度，用平坦区域的噪声标准差量化；分辨率卡验证锐化和去马赛克的细节保留，看高频区域的 MTF 响应。

def evaluate(yuv_out, yuv_ref): """基础指标：噪声标准差、亮度均值、色彩误差""" noise = np.std(yuv_out[100:200, 100:200, 0]) # 平坦区 luma = np.mean(yuv_out[..., 0]) de = np.mean(np.abs(yuv_out[..., 1:] - yuv_ref[..., 1:])) return {'noise_std': float(noise), 'luma_mean': float(luma), 'delta_e': float(de)}

我一般会盯住三个数字：平坦区噪声标准差、中间调亮度均值、色卡平均 ΔE。这三个数稳住，画面基本不会有大问题，剩下的就是主观微调。

6. 常见问题与排查实录

这一节是我这些年踩过的坑整理出来的速查表，遇到问题先对着表扫一遍，能省掉大量瞎猜的时间。

6.1 典型现象速查

6.2 几个不容易查出来的隐蔽问题

第一个是OB 区污染。有些 Sensor 的 OB 区位置比较靠边，容易被漏光或者暗电流不均匀影响，导致黑电平估计偏高或偏低，整帧出现亮度漂移。排查方法是对比 OB 区均值和标定表，偏差超过 32 LSB 就要警惕，这时候应该降权实时估计、提高标定表权重。

第二个是LSC 网格的坐标对齐。网格是按标定图的分辨率生成的，如果运行时改了裁剪窗口或者缩放比例，网格坐标就会错位，表现是画面出现斜向的明暗条纹。这个问题在切换分辨率时特别容易出现，我一般会在分辨率切换的流程里强制重新加载网格。

第三个是CCM 与 AWB 的时序错配。AWB 收敛需要几帧时间，如果 CCM 立刻跟着 AWB 结果切换，中间几帧会出现明显的色偏闪烁。工程上的做法是给 CCM 加切换迟滞，色温变化超过阈值才切换，并且切换时做几帧的线性插值过渡。

第四个是锐化与缩放的顺序。先缩放后锐化，锐化放大的是插值伪影，画面会出现细密的振铃；先锐化后缩放，锐化出来的高频被缩放滤波抹掉，锐化白做。正确顺序是先缩放再锐化，且锐化强度要按缩放比例调整，缩小越多强度越小。

注意：这四类问题的共同点是“看指标正常、看画面别扭”。所以永远不要只看 PSNR 和 SSIM，一定要肉眼过一遍，尤其是暗部、肤色、高频纹理、平坦渐变这四个区域。

6.3 几条不太出现在文档里的经验

关于降噪：我从来不相信“一个参数打天下”。降噪强度必须是 ISO、场景亮度、局部方差三个量的函数，做成一维或二维查找表最省事。查表的时候注意边界要做插值，否则档位切换会看到画面噪点“跳变”。

关于锐化：锐化前的降噪比锐化本身重要。噪声没压住就去锐化，等于把噪点当细节放大，效果适得其反。我调试的顺序永远是先把降噪调到“微微偏软”，再上锐化补回来，这样出来的画面干净且锐利。

关于色卡验证：色卡上的 ΔE 平均值好看不代表没问题，一定要看分布。如果只有肤色的几个色块 ΔE 偏高，说明 CCM 在肤色区域拟合不足，需要单独加权优化。全局平均会掩盖这种局部误差。

关于中间结果：养成存中间图的习惯，每个模块输出都存一份，命名带上参数。出了问题回溯时，能直接定位到是哪一版参数引起的。这个习惯救过我很多次，尤其是在参数改了几十轮之后。

关于链路顺序：接手新项目，先花半天把链路顺序完整走一遍，用一份标准 RAW 从头跑到尾，中间每一步都存图。这半天看起来是浪费，实际上能帮你省掉后面几周的定位时间。我见过太多人上来就调参数，调了两周才发现黑电平位置不对。

7. 写在最后的个人体会

前后处理的边界，说到底不是一个学术问题，是一个工程协作问题。它的价值不在于定义多精确，而在于能不能让硬件、算法、调优三拨人对同一件事有共同语言。我现在的做法很简单：链路图上把去马赛克画成一条粗线，左边标“校正”，右边标“呈现”，任何模块要跨线移动，都必须拿出噪声模型或者主观评测的数据来说服大家。这条规矩立起来之后，项目里关于“这个模块该谁做”的扯皮少了八成。

另外一个体会是，别把前处理当成“必须做完才能开始调后处理”的前置任务。实际项目里，前后处理是反复迭代的：后处理调出来发现暗部噪点压不住，回头要改前处理的降噪强度；前处理改了降噪，后处理的锐化参数又得重调。真正高效的做法是把链路搭通，先用一套保守参数跑通全流程，再从前到后一轮一轮收紧，每轮只动一到两个模块。这种滚雪球式的调法比“一次调好一个模块再进下一个”更贴合真实项目的节奏，因为画质的各个维度本来就是互相牵制的。

最后一个实用建议：给你的链路写一份参数说明文档，每个参数写清楚物理含义、取值范围、和哪些其他参数耦合。这份文档在你自己隔了三个月再回头看的时候，价值会远超你的预期。我吃过这个亏，一套参数调完没记录，两个月后回来完全看不懂当时为什么这么给，只能重调一遍。