DEIM 的 FPN 用 upsample_feat 把深层特征放大到浅层分辨率再融合原始实现只是一个最近邻插值——纯几何操作、0 参数不感知任何内容放大后的特征带着棋盘格伪影与空间错位去和浅层细节 concat。针对这条影响每一级融合的上采样路径我们做了 5 个可即插即用的替换变体DySample / PixelAlign / SAFM / HDPA / BFHPA覆盖学习式采样、像素重排、注意力调制三类思路全部保持通道不变、2× 上采样、一行 yaml 切换。本文逐一拆解设计动机并以 DySample 为例给出具体修改。0. 开场upsample_feat是谁它在哪接上篇。lateral_convs 完成通道投影后深层特征还要做一件事才能参与融合放大到浅层特征的分辨率——这一步就是 upsample_feat。在 DEIM 的 FPN 流程里Y5 lateral_convs(P5)→upsample_feat(Y5)放大 2 倍 → 与 P4 concat → 交给 fpn_blocks 融合。每一级跨尺度融合都先经过这条上采样路径。原始实现朴素到极致nn.Upsample(scale_factor2, modenearest)——最近邻插值一行代码、0 个参数。它把每个像素复制放大仅此而已。1. 现有的upsample_feat有什么问题先看它做的事最近邻插值把 2×2 邻域复制成 4×4。问题在于它什么都不懂问题机制原因可观测后果棋盘格/锯齿伪影最近邻是硬像素复制放大后边缘呈块状阶梯融合输入自带伪影融合块要额外花容量去擦掉空间错位纯几何操作不感知内容放大位置与浅层特征的真实边界对不齐深层语义与浅层细节 concat 时同一位置可能分属不同物体融合被误导零学习能力0 参数无法按内容调整采样位置或权重性能好坏完全取决于插值本身网络没有补救手段伪影逐级累积FPN 每一级都走这条路径下一级又在放大后的特征上继续放大深层误差向上采样路径逐级放大传播一句话总结upsample_feat 是 neck 里最没技术含量、却影响每一级融合的环节——它决定融合输入的质量下限而它的质量上限只是像素复制。2. upsample_feat可以往哪些方向改进放大这件事可以从三个层面升级方向思路代表变体优点代价学习式采样让网络从内容预测采样位置再用可微采样放大DySample内容感知、自适应直击空间错位参数与延迟增加像素重排用 PixelShuffle 重排通道内元素不产生新像素PixelAlign无插值伪影、无参数仅 1×1 回填通道被压成 1/4需回填卷积注意力调制上采样前后加通道/空间注意力放大同时重标定SAFM、HDPA、BFHPA上采样与特征调制一步完成参数与复杂度递增三路共同点都保持通道不变、2× 上采样drop-in 替换 yaml 里的upsample_feat一行。3. upsample_feat是如何改进的以下面5个为例全部通过 upsample_通用前缀自动装配变体结构类型参数量upsample_DySample1×1 conv 预测采样偏移 → grid_sample 双线性采样学习式采样中1 个 1×1upsample_PixelAlignPixelShuffle 像素重排 → 1×1 通道回填像素重排低1 个 1×1upsample_SAFMPixelShuffle 放大 → SimpleSAFM 空间自适应调制调制式中等upsample_HDPA通道注意力 × 空间注意力 → PixelShuffle 放大注意力式中等upsample_BFHPAECA 通道注意 双空间注意 → α/β 融合 → 残差上采样注意力式中高设计逻辑同一个位置、同一份职责五种不同的放大哲学DySample核心是采样位置可学。offset 由 1×1 卷积从内容预测初始化极小std0.001训练起点≈均匀网格训练中逐步学会该往哪采——浅层细节的边缘在哪采样点就偏向哪从根源消除错位PixelAlign反其道而行——不产生新像素。PixelShuffle 只是把通道内元素重新排布到空间无插值无伪影代价是通道变 1/4需要 1×1 卷积回填但回填卷积同时是一次可学习的投影SAFM先 PixelShuffle 把内容铺到目标分辨率再用 SimpleSAFM自适应池化 → 深度卷积 → 双线性放大回原尺寸 → 乘性调制对放大后的特征做空间自适应调制把放大和重标定绑成一步HDPA通道注意力全局池化 → 1×1 → sigmoid与空间注意力max 提特征 → 1×1 → sigmoid相乘调制特征再 PixelShuffle 放大让上采样只放大该放大的部分BFHPA最完整的一版——ECA 通道注意力 avg/max 双空间注意力用可学习的 α、β 加权融合两路调制结果再接残差分支保留原始信息参数最多、表达力最强。4.以upsample_DySanple为例第一: 将下面的核心代码复制到DEIMv2-main\DEIM_YOLO\change_mode_上采样修复路径下如下图所示。第二自适应导包与模型搭建第三将模型配置文件复制到DEIM.YAMY文件中第四模型跑出的结果 DEIM 改进系列（三）：upsample改进——从“无脑插值“到“内容感知上采样“
DEIM 的 FPN 用 upsample_feat 把深层特征放大到浅层分辨率再融合原始实现只是一个最近邻插值——纯几何操作、0 参数不感知任何内容放大后的特征带着棋盘格伪影与空间错位去和浅层细节 concat。针对这条影响每一级融合的上采样路径我们做了 5 个可即插即用的替换变体DySample / PixelAlign / SAFM / HDPA / BFHPA覆盖学习式采样、像素重排、注意力调制三类思路全部保持通道不变、2× 上采样、一行 yaml 切换。本文逐一拆解设计动机并以 DySample 为例给出具体修改。0. 开场upsample_feat是谁它在哪接上篇。lateral_convs 完成通道投影后深层特征还要做一件事才能参与融合放大到浅层特征的分辨率——这一步就是 upsample_feat。在 DEIM 的 FPN 流程里Y5 lateral_convs(P5)→upsample_feat(Y5)放大 2 倍 → 与 P4 concat → 交给 fpn_blocks 融合。每一级跨尺度融合都先经过这条上采样路径。原始实现朴素到极致nn.Upsample(scale_factor2, modenearest)——最近邻插值一行代码、0 个参数。它把每个像素复制放大仅此而已。1. 现有的upsample_feat有什么问题先看它做的事最近邻插值把 2×2 邻域复制成 4×4。问题在于它什么都不懂问题机制原因可观测后果棋盘格/锯齿伪影最近邻是硬像素复制放大后边缘呈块状阶梯融合输入自带伪影融合块要额外花容量去擦掉空间错位纯几何操作不感知内容放大位置与浅层特征的真实边界对不齐深层语义与浅层细节 concat 时同一位置可能分属不同物体融合被误导零学习能力0 参数无法按内容调整采样位置或权重性能好坏完全取决于插值本身网络没有补救手段伪影逐级累积FPN 每一级都走这条路径下一级又在放大后的特征上继续放大深层误差向上采样路径逐级放大传播一句话总结upsample_feat 是 neck 里最没技术含量、却影响每一级融合的环节——它决定融合输入的质量下限而它的质量上限只是像素复制。2. upsample_feat可以往哪些方向改进放大这件事可以从三个层面升级方向思路代表变体优点代价学习式采样让网络从内容预测采样位置再用可微采样放大DySample内容感知、自适应直击空间错位参数与延迟增加像素重排用 PixelShuffle 重排通道内元素不产生新像素PixelAlign无插值伪影、无参数仅 1×1 回填通道被压成 1/4需回填卷积注意力调制上采样前后加通道/空间注意力放大同时重标定SAFM、HDPA、BFHPA上采样与特征调制一步完成参数与复杂度递增三路共同点都保持通道不变、2× 上采样drop-in 替换 yaml 里的upsample_feat一行。3. upsample_feat是如何改进的以下面5个为例全部通过 upsample_通用前缀自动装配变体结构类型参数量upsample_DySample1×1 conv 预测采样偏移 → grid_sample 双线性采样学习式采样中1 个 1×1upsample_PixelAlignPixelShuffle 像素重排 → 1×1 通道回填像素重排低1 个 1×1upsample_SAFMPixelShuffle 放大 → SimpleSAFM 空间自适应调制调制式中等upsample_HDPA通道注意力 × 空间注意力 → PixelShuffle 放大注意力式中等upsample_BFHPAECA 通道注意 双空间注意 → α/β 融合 → 残差上采样注意力式中高设计逻辑同一个位置、同一份职责五种不同的放大哲学DySample核心是采样位置可学。offset 由 1×1 卷积从内容预测初始化极小std0.001训练起点≈均匀网格训练中逐步学会该往哪采——浅层细节的边缘在哪采样点就偏向哪从根源消除错位PixelAlign反其道而行——不产生新像素。PixelShuffle 只是把通道内元素重新排布到空间无插值无伪影代价是通道变 1/4需要 1×1 卷积回填但回填卷积同时是一次可学习的投影SAFM先 PixelShuffle 把内容铺到目标分辨率再用 SimpleSAFM自适应池化 → 深度卷积 → 双线性放大回原尺寸 → 乘性调制对放大后的特征做空间自适应调制把放大和重标定绑成一步HDPA通道注意力全局池化 → 1×1 → sigmoid与空间注意力max 提特征 → 1×1 → sigmoid相乘调制特征再 PixelShuffle 放大让上采样只放大该放大的部分BFHPA最完整的一版——ECA 通道注意力 avg/max 双空间注意力用可学习的 α、β 加权融合两路调制结果再接残差分支保留原始信息参数最多、表达力最强。4.以upsample_DySanple为例第一: 将下面的核心代码复制到DEIMv2-main\DEIM_YOLO\change_mode_上采样修复路径下如下图所示。第二自适应导包与模型搭建第三将模型配置文件复制到DEIM.YAMY文件中第四模型跑出的结果 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
