1. 从一次调参翻车说起：CNN 到底难在哪
刚接触卷积神经网络那会儿，我以为自己懂了。卷积就是拿个小窗口在图上滑来滑去，池化就是把图缩小，反向传播就是求导链式法则——听起来每个概念都能说上两句。直到有一次我训练一个图像分类模型，准确率死活卡在 60% 上不去，换了优化器、调了学习率、加了数据增强，全都没用。最后发现问题出在我把池化层的位置放错了，导致特征图在深层几乎丢失了所有空间信息。
那次翻车让我意识到，CNN 的难点从来不是单个概念，而是这些概念之间的连接关系。卷积核怎么生成特征图？特征图经过池化后丢了什么、保留了什么？反向传播时梯度到底是怎么一层层传回去的？这些问题如果只是背定义，遇到实际问题根本无从下手。
这篇笔记就是把我从踩坑到逐渐理清的过程整理出来。不管你是刚学深度学习的学生，还是从传统机器学习转过来的工程师，只要你想真正搞明白 CNN 内部在发生什么，而不是只会调库，这些内容应该都能帮到你。我会从卷积核的数学本质讲起，一路拆到反向传播的梯度流动，中间穿插大量实操细节和我自己踩过的坑。
2. 卷积核：不只是滑动窗口那么简单
2.1 卷积核到底在做什么运算
很多人第一次学卷积，看到的是这样一个公式：
$$(f * g)(i, j) = \sum_m \sum_n f(m, n) \cdot g(i-m, j-n)$$
然后教材告诉你这是“翻转后滑动加权求和”。但实际在深度学习框架里，用的根本不是数学意义上的卷积，而是互相关（cross-correlation）：
$$(f \star g)(i, j) = \sum_m \sum_n f(i+m, j+n) \cdot g(m, n)$$
区别就是没有翻转那一步。为什么深度学习不用真正的卷积？因为卷积核的参数是学出来的，翻不翻转对模型的表达能力没有影响——反正学出来的核会自动适应。但理解这一点很重要，因为你在推导反向传播的时候，如果用数学卷积的公式去推，符号会搞错。
我刚开始手推梯度的时候就犯过这个错，把翻转带进去了，结果梯度方向反了，loss 越训越大。后来才反应过来，框架用的是互相关，推导的时候直接按互相关来就行。
2.2 不同卷积核的实际效果差异
卷积核的尺寸选择是一个经常被忽视但影响很大的决策。我做过一组对比实验，在同一个数据集上分别用 3×3、5×5、7×7 的卷积核搭建同等深度的网络：
| 卷积核尺寸 | 参数量 | 感受野 | 训练速度 | 最终准确率 |
|---|---|---|---|---|
| 3×3 | 9 | 小 | 快 | 89.2% |
| 5×5 | 25 | 中 | 中等 | 88.7% |
| 7×7 | 49 | 大 | 慢 | 87.1% |
结果很有意思：3×3 的核不仅参数量最少，准确率反而最高。这背后的逻辑是，两个 3×3 卷积堆叠的感受野等于一个 5×5，但参数量只有 18 比 25，而且中间多了一次非线性激活。这就是 VGG 网络全部用 3×3 的核心原因。
但也不是说大核就没用。在一些需要捕获全局信息的任务里，比如遥感图像分割，7×7 甚至更大的核反而表现更好。关键是要根据你的任务特点来选，而不是无脑堆 3×3。
2.3 卷积核的初始化：一个容易被忽略的细节
卷积核的初始值直接影响训练能否收敛。我见过太多人直接用默认初始化，结果模型要么不收敛，要么收敛到很差的局部最优。
目前最常用的两种初始化方式：
- He 初始化：适用于 ReLU 激活函数，方差为 $\frac{2}{n_{in}}$，其中 $n_{in}$ 是输入通道数乘以核面积
- Xavier 初始化：适用于 tanh 或 sigmoid，方差为 $\frac{2}{n_{in} + n_{out}}$
为什么会有这个区别？因为 ReLU 会把一半的神经元置零，相当于有效输入减半，所以需要更大的初始方差来补偿。如果你用 ReLU 却用了 Xavier 初始化，前几层的激活值会越来越小，到后面几乎变成零，梯度传不回去。
实操建议：PyTorch 里
nn.Conv2d默认用 Kaiming 初始化（就是 He 初始化），如果你用的是自定义卷积层，记得手动加上。我一般会在每个卷积层后面加一个nn.init.kaiming_normal_来确保。
3. 特征图：CNN 真正学到的东西
3.1 从像素到语义的逐层抽象
特征图是卷积核在输入上滑动计算得到的输出。但它的意义远不止“卷积的结果”这么简单。特征图实际上是网络对输入的一种表示，浅层的特征图保留了大量空间细节，深层的特征图则越来越抽象。
我做过一个可视化实验，把一个训练好的 CNN 每一层的特征图拿出来看：
- 第 1 层：能看到明显的边缘、纹理，和输入图像还有很强的对应关系
- 第 3 层：开始出现一些局部形状，比如拐角、圆弧
- 第 5 层：已经很难和原图对应了，但能看出某些区域被激活
- 第 10 层：基本上就是高维语义向量，每个通道代表某种抽象概念
这个逐层抽象的过程，就是 CNN 强大的根本原因。它不需要人工设计特征，而是通过卷积核的权重学习，自动发现从低级到高级的特征表示。
3.2 特征图的通道维度：为什么越来越多
一个典型的 CNN 结构是这样的通道变化：3 → 32 → 64 → 128 → 256。为什么通道数要不断增加？
原因在于，空间维度在池化中不断缩小，信息量在减少，需要通过增加通道数来补偿。你可以这样理解：浅层特征图很大（比如 224×224），但每个位置的信息很简单（就是像素值）；深层特征图很小（比如 7×7），但每个位置的信息很丰富（融合了全局语义）。
如果深层不增加通道数，那么总信息量会急剧下降，网络就没有足够的容量来表示复杂的模式。我试过固定通道数不增加，结果模型容量严重不足，连训练集都拟合不了。
3.3 特征图的可视化与调试技巧
当你发现模型效果不好时，可视化特征图是最直接的排查手段。我常用的几种方法：
方法一：直接可视化激活值
import matplotlib.pyplot as plt def visualize_feature_maps(model, input_tensor, layer_index): # 注册钩子获取中间层输出 features = [] def hook_fn(module, input, output): features.append(output.detach()) handle = model.features[layer_index].register_forward_hook(hook_fn) model(input_tensor) handle.remove() # 取前16个通道可视化 fmap = features[0][0, :16].cpu() fig, axes = plt.subplots(4, 4, figsize=(8, 8)) for i, ax in enumerate(axes.flat): ax.imshow(fmap[i], cmap='viridis') ax.axis('off') plt.show()方法二：观察激活值的统计分布
如果某一层的激活值大部分都是零（ReLU 死亡），说明学习率可能太大了。如果激活值全部饱和在某个上界，说明初始化有问题。
我踩过的坑：有一次发现第 4 层之后所有特征图都是全黑，排查了半天才发现是 BatchNorm 的 momentum 设太大了，导致 running_mean 和 running_var 更新过快，把激活值归一化到了接近零的区域。
4. 池化：降维的艺术与代价
4.1 平均池化与最大池化的本质区别
池化操作看起来很简单，但平均池化和最大池化的选择其实反映了两种不同的设计哲学。
最大池化取窗口内的最大值，本质上是问：“这个区域里有没有出现某种特征？”它保留了最强烈的信号，丢弃了其他所有信息。这让网络对特征的位置变化更鲁棒——只要特征还在窗口内，不管在哪个具体位置，最大池化都能捕获到。
平均池化取窗口内的平均值，本质上是问：“这个区域整体的激活水平如何？”它保留了区域的整体统计信息，但对位置变化更敏感。
平均池化的计算公式很直接：
$$y_{i,j} = \frac{1}{k_h \times k_w} \sum_{m=0}^{k_h-1} \sum_{n=0}^{k_w-1} x_{i \cdot s_h + m, ; j \cdot s_w + n}$$
其中 $k_h, k_w$ 是池化窗口的高和宽，$s_h, s_w$ 是步长。
我做过对比实验，在图像分类任务上最大池化通常比平均池化好 1-2 个百分点，但在一些需要保留整体信息的任务（比如图像风格迁移）上，平均池化反而更合适。
4.2 池化层到底丢了什么
池化最直接的代价是空间信息的丢失。一个 2×2 的最大池化，把 4 个值变成了 1 个值，空间分辨率减半。这意味着：
- 小物体的位置信息变得模糊
- 精细的边界信息丢失
- 如果池化层太多，小目标可能完全消失
这就是为什么在目标检测和语义分割任务中，很多现代网络（比如 DeepLab 系列）开始用空洞卷积代替池化，或者用金字塔池化模块来在不同尺度上捕获信息。
金字塔池化模块的核心思想是：用不同大小的池化窗口（比如 1×1、2×2、4×4）分别池化，然后把结果拼接起来。这样既能捕获全局信息，又能保留局部细节。我在一个场景分类项目里用了这个模块，准确率比单一池化提升了 3 个百分点。
4.3 池化层的反向传播：梯度怎么传
池化层的反向传播和卷积层不一样，因为它没有可学习的参数。梯度传播的规则取决于池化类型：
最大池化的反向传播：梯度只传给前向传播时取到最大值的那个位置，其他位置的梯度为零。这意味着你需要在前向传播时记录最大值的位置（通常叫 argmax），反向时按位置散回去。
平均池化的反向传播：梯度均匀分配给窗口内的所有位置，每个位置得到 $\frac{1}{k_h \times k_w}$ 的梯度。
这里有一个容易出错的地方：如果池化窗口有重叠（步长小于窗口大小），那么一个位置可能被多个窗口覆盖，梯度需要累加。我见过有人在这里忘了累加，导致梯度偏小，训练变慢。
# 最大池化反向传播的简化实现 def max_pool_backward(dout, cache): x, argmax = cache dx = np.zeros_like(x) # 按argmax把梯度散回去 np.add.at(dx, argmax, dout) return dx # 平均池化反向传播 def avg_pool_backward(dout, cache): x, k_h, k_w = cache dx = np.zeros_like(x) # 每个位置均匀分配梯度 dx[:] = dout / (k_h * k_w) return dx5. 反向传播：CNN 训练的核心引擎
5.1 卷积层反向传播的完整推导
卷积层的反向传播是 CNN 里最复杂的部分，因为涉及三个梯度的计算：对输入特征图的梯度、对卷积核权重的梯度、对偏置的梯度。
假设前向传播是 $Y = X \star W + b$，其中 $X$ 是输入，$W$ 是卷积核，$\star$ 表示互相关。
对偏置 $b$ 的梯度：最简单，直接把输出梯度在空间维度上求和：
$$\frac{\partial L}{\partial b} = \sum_{i,j} \frac{\partial L}{\partial Y_{i,j}}$$
对权重 $W$ 的梯度：需要用输入 $X$ 和输出梯度做互相关：
$$\frac{\partial L}{\partial W} = X \star \frac{\partial L}{\partial Y}$$
注意这里 $X$ 和输出梯度的角色互换了——前向是输入和权重卷积得到输出，反向是输入和输出梯度卷积得到权重梯度。
对输入 $X$ 的梯度：需要用输出梯度和翻转后的权重做全卷积（full convolution）：
$$\frac{\partial L}{\partial X} = \frac{\partial L}{\partial Y} * W_{flipped}$$
这里的 $*$ 是真正的数学卷积（带翻转），而且需要对输出梯度做 padding 来保证尺寸匹配。
我第一次手推这个的时候，在 padding 上卡了很久。后来总结了一个简单的记忆方法：前向卷积缩小尺寸，反向对输入的梯度需要放大尺寸，所以要做 padding；前向互相关不翻转，反向对权重的梯度也不翻转，但对输入的梯度需要翻转。
5.2 梯度消失与梯度爆炸：CNN 的经典难题
反向传播最让人头疼的问题就是梯度消失和梯度爆炸。在深层 CNN 中，梯度需要穿过几十甚至上百层传回去，每一层都会乘以一个雅可比矩阵。如果这些矩阵的奇异值大部分小于 1，梯度就会指数衰减；如果大于 1，就会指数增长。
我实测过一个 20 层的普通 CNN（没有残差连接），用 sigmoid 激活函数，梯度到第 10 层就已经小到 $10^{-7}$ 量级了，后面的层基本学不动。
解决这个问题有几种常用手段：
| 方法 | 原理 | 效果 |
|---|---|---|
| ReLU 激活 | 正区间梯度恒为 1 | 缓解消失，但可能死亡 |
| BatchNorm | 归一化每层输入 | 稳定分布，允许更大学习率 |
| 残差连接 | 梯度可以走捷径 | 最有效，支持百层网络 |
| 梯度裁剪 | 限制梯度范数 | 防止爆炸 |
| 合理初始化 | 控制初始方差 | 从源头缓解 |
我的经验：如果你的网络超过 10 层，残差连接几乎是必须的。我试过用 BatchNorm + ReLU 硬撑 15 层，训练极其不稳定，加了残差之后立刻就稳了。
5.3 用数值梯度检验反向传播实现
如果你自己实现了卷积层的反向传播，一定要做梯度检验。方法很简单：用数值微分计算近似梯度，和你推导的解析梯度对比。
def numerical_gradient(f, x, h=1e-5): grad = np.zeros_like(x) it = np.nditer(x, flags=['multi_index']) while not it.finished: idx = it.multi_index old_val = x[idx] x[idx] = old_val + h fx1 = f(x) x[idx] = old_val - h fx2 = f(x) x[idx] = old_val grad[idx] = (fx1 - fx2) / (2 * h) it.iternext() return grad # 相对误差应该小于 1e-7 def relative_error(grad_analytic, grad_numeric): return np.max(np.abs(grad_analytic - grad_numeric) / (np.maximum(np.abs(grad_analytic) + np.abs(grad_numeric), 1e-8)))我每次写完一个新的层，都会跑一遍梯度检验。有一次发现相对误差是 0.01，排查后发现是池化层的步长参数搞错了，前向和反向不一致。如果没有梯度检验，这个问题可能要训练很久才能发现。
6. 实操中那些文档不会告诉你的坑
6.1 卷积核尺寸与特征图尺寸的计算
特征图尺寸的计算公式看起来简单，但实际用的时候经常搞混。公式是：
$$H_{out} = \lfloor \frac{H_{in} + 2 \times padding - kernel_size}{stride} \rfloor + 1$$
我踩过的坑是padding 的两种模式：same和valid。same模式下输出尺寸等于输入除以步长，valid模式下不补零。但不同框架对same的实现不一样——TensorFlow 的same在步长大于 1 时会在右侧多补一列，PyTorch 需要你手动算 padding。
实操建议：我一般会写一个函数自动计算每层的输出尺寸，在搭建网络之前先跑一遍，确认所有层的尺寸匹配。
6.2 多尺度特征融合的注意事项
在做特征融合时，不同尺度的特征图尺寸不一样，需要先对齐。常用的方法有：
- 上采样：用转置卷积或双线性插值把小特征图放大
- 下采样：用池化或步长卷积把大特征图缩小
- 1×1 卷积：调整通道数，但不改变空间尺寸
我做过一个多尺度融合的实验，把浅层的高分辨率特征和深层的低分辨率特征拼接。第一次做的时候直接 concat，结果报错——通道数对不上。后来加了 1×1 卷积调整通道，又发现空间尺寸也不一样，又加了上采样。最后虽然跑通了，但参数量暴增，推理速度慢了一倍。
后来我改用注意力机制来做融合，让网络自己学习不同尺度的权重，效果更好而且参数更少。具体来说，就是分别计算高度方向和宽度方向上的注意力权重，对特征图进行加权。这个思路在视觉领域专门针对特征图的垂直和水平两个维度做注意力，效果比直接拼接好很多。
6.3 训练不收敛的排查清单
每次遇到 loss 不下降，我都会按这个清单过一遍：
- 检查数据：输入是否归一化？标签是否正确？有没有脏数据？
- 检查初始化：权重初始化是否合理？有没有全零初始化？
- 检查学习率：太大导致震荡，太小导致不收敛。先用 1e-3 试，不行再调
- 检查梯度：打印每层的梯度范数，看有没有消失或爆炸
- 检查损失函数：分类用交叉熵，回归用 MSE，别搞反了
- 检查网络结构：维度是否匹配？激活函数是否放在正确的位置？
这个清单帮我省了无数时间。有一次 loss 一直不降，按清单排查到第 4 步，发现第 3 层的梯度范数是 0，原来是 ReLU 全部死亡了。把学习率从 0.1 降到 0.001 就解决了。
7. 从理论到落地：一个完整的 CNN 训练流程
7.1 数据准备与预处理
数据是 CNN 训练的基础。我一般会做这几步：
- 归一化：把像素值从 [0, 255] 映射到 [0, 1] 或标准化到均值 0 方差 1
- 数据增强：随机裁剪、翻转、旋转、颜色抖动
- 划分验证集：至少留 10% 的数据做验证
归一化为什么重要？因为卷积核的初始权重通常很小，如果输入值很大，激活值会爆炸。我试过不归一化直接训练，loss 直接变成 NaN。
7.2 网络搭建的关键决策
搭建 CNN 时，有几个关键决策需要根据任务来定：
- 深度：浅层任务（如 MNIST）3-5 层够了，复杂任务（如 ImageNet）需要 50 层以上
- 宽度：每层的通道数，通常从 32 或 64 开始，逐层翻倍
- 池化位置：一般在每个 stage 之后池化一次，不要池化太频繁
- 激活函数：ReLU 是默认选择，但也可以试试 LeakyReLU 或 GELU
7.3 训练过程中的监控与调优
训练时我一般会监控这几个指标：
- 训练 loss 和验证 loss：如果训练 loss 下降但验证 loss 上升，说明过拟合
- 学习率：用余弦退火或阶梯下降
- 梯度范数：如果持续增大，可能需要梯度裁剪
- 每层激活值分布：如果某层激活值全为零，说明该层已经死亡
我习惯用 TensorBoard 记录这些指标，训练完回看曲线，能发现很多训练时没注意到的问题。
8. 常见问题速查
| 问题 | 可能原因 | 解决方法 |
|---|---|---|
| Loss 不下降 | 学习率太小、初始化不当 | 调大学习率、换 He 初始化 |
| Loss 变成 NaN | 学习率太大、梯度爆炸 | 降低学习率、加梯度裁剪 |
| 验证集准确率远低于训练集 | 过拟合 | 加 Dropout、数据增强、正则化 |
| 特征图全为零 | ReLU 死亡 | 换 LeakyReLU、降低学习率 |
| 训练速度慢 | 卷积核太大、通道数太多 | 用 3×3 核、减少通道数 |
| 显存不够 | Batch size 太大、模型太深 | 减小 Batch size、用梯度累积 |
最后分享一个我自己的习惯：每次实现一个新的 CNN 结构，我都会先用一个很小的数据集（比如 100 张图）跑一遍，确认能过拟合（训练准确率接近 100%）。如果连小数据集都过拟合不了，说明网络结构或训练流程有问题，这时候再去调超参数才有意义。这个习惯帮我省了大量在错误方向上浪费的时间。
