088、ISP的AI化改造：深度学习替代传统模块的架构设计去年夏天，我在调试一款车载环视系统的夜间成像效果。传统ISP的3A算法在路灯与暗区交替的场景下反复震荡，AE模块像抽风一样忽明忽暗，AWB把柏油路面硬生生调成了紫色。我盯着示波器上的帧间隔曲线，突然意识到一个残酷的事实：传统ISP的模块化流水线，在面对真实世界的非理想光照时，已经走到了物理极限。这不是某个算法参数能解决的问题。传统ISP的每个模块——去马赛克、降噪、锐化、色彩校正——都是基于特定物理模型的假设。去马赛克假设颜色是平滑变化的，降噪假设噪声是高斯分布的，锐化假设边缘是阶跃的。现实世界不遵守这些假设。于是我们开始思考：能不能用深度学习直接替代整个ISP流水线？或者至少替代那些最顽固的模块？从模块替换到端到端：架构选择的代价第一个踩坑的项目是手机夜景模式。团队决定用U-Net直接做端到端的RAW到RGB映射，输入是14bit Bayer RAW，输出是8bit sRGB。训练出来的模型在实验室测试集上PSNR高达38dB，一上手机就崩了——运动场景出现鬼影，高光区域出现伪色，而且不同传感器的RAW格式差异导致模型完全不可迁移。这里踩过坑：端到端模型把ISP的所有问题都压缩进了一个黑盒，你没法单独调试白平衡或者降噪强度。产线上QA反馈“偏绿”，你只能重新训练整个模型，而训练数据里可能根本没有那个特定色温的样本。更务实的做法是混合架构。我们把ISP拆成两个域：物理可建模的部分（如镜头阴影校正、坏点校正）继续用传统算法，因为这些有明确的物理模型，数据量小且泛化性好；而语 088、ISP的AI化改造：深度学习替代传统模块的架构设计
088、ISP的AI化改造：深度学习替代传统模块的架构设计去年夏天，我在调试一款车载环视系统的夜间成像效果。传统ISP的3A算法在路灯与暗区交替的场景下反复震荡，AE模块像抽风一样忽明忽暗，AWB把柏油路面硬生生调成了紫色。我盯着示波器上的帧间隔曲线，突然意识到一个残酷的事实：传统ISP的模块化流水线，在面对真实世界的非理想光照时，已经走到了物理极限。这不是某个算法参数能解决的问题。传统ISP的每个模块——去马赛克、降噪、锐化、色彩校正——都是基于特定物理模型的假设。去马赛克假设颜色是平滑变化的，降噪假设噪声是高斯分布的，锐化假设边缘是阶跃的。现实世界不遵守这些假设。于是我们开始思考：能不能用深度学习直接替代整个ISP流水线？或者至少替代那些最顽固的模块？从模块替换到端到端：架构选择的代价第一个踩坑的项目是手机夜景模式。团队决定用U-Net直接做端到端的RAW到RGB映射，输入是14bit Bayer RAW，输出是8bit sRGB。训练出来的模型在实验室测试集上PSNR高达38dB，一上手机就崩了——运动场景出现鬼影，高光区域出现伪色，而且不同传感器的RAW格式差异导致模型完全不可迁移。这里踩过坑：端到端模型把ISP的所有问题都压缩进了一个黑盒，你没法单独调试白平衡或者降噪强度。产线上QA反馈“偏绿”，你只能重新训练整个模型，而训练数据里可能根本没有那个特定色温的样本。更务实的做法是混合架构。我们把ISP拆成两个域：物理可建模的部分（如镜头阴影校正、坏点校正）继续用传统算法，因为这些有明确的物理模型，数据量小且泛化性好；而语 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
