简介：该压缩包是一套围绕DFFormer模型进行图像分类的完整实战资源，面向有一定深度学习基础、希望掌握动态令牌混合器实现细节的开发者和研究者。包内文件总数达2000个，其中1988张PNG图片构成图像数据集，6个Python脚本用于模型训练与评估，4个pyc编译文件便于导入运行，另有txt和json文件保存类别映射与配置信息，整个压缩包约736.93MB。目前已有155人学习浏览，适合作为图像分类方向入门或进阶的完整参考项目。该资源源自一篇提出动态滤波器思想的前沿论文，采用快速傅里叶变换显著降低自注意力计算复杂度；配套代码清晰展示了动态滤波器实现和类别映射逻辑。通过实际操作，读者能够复现实验结果，理解不同令牌混合机制在精度与效率上的差异，进而搭建自己的图像分类流程。

1. 图像分类新选择：DFFormer如何用FFT给自注意力“降维”

做图像分类的工程师大多遇到过这个场景：模型在 224×224 上精度不错，一换到 512×512 的高分辨率输入，ViT 这类 Transformer 的显存和耗时立刻崩盘。问题出在多头自注意力（MHSA）上——它要对特征图里每个位置两两计算相关性，像素数从 224 涨到 512，计算量不是翻倍，是近似平方级增长。DFFormer 给了一条新路子：用一个基于快速傅里叶变换（FFT）的动态滤波器（Dynamic Filter）替换掉 token mixer，在频域做全局信息混合，再逆变换回空间域，复杂度从自注意力的二次增长降到接近 O(N log N)。这套实现在图像分类任务里既能保留全局感受野，又能在高分辨率输入下保住训练速度。适合两类人：一是显卡资源有限、但想用 Transformer 结构做分类的；二是已经在跑 ViT、想把输入分辨率往上提却卡在算力上的。

2. 拆解动态滤波器：FFT、频域相乘与 IFFT 的完整数据流

要复现 DFFormer，第一步不是急着调参，而是把动态滤波器这个模块的前向流程吃透。它跟普通卷积、跟 MHSA 的差异，决定了后面所有训练策略的取舍。

2.1 动态滤波器的前向流程

动态滤波器这个名字容易让人误解，以为它是个固定形状的高通或低通滤波器。实际上它的核心是“由输入动态生成频域权重”，再在频域里完成特征调制。我这里给出一个最简可跑的 PyTorch 实现，用来理解数据流：

import torch import torch.nn as nn class DynamicFilterMixer(nn.Module): def __init__(self, dim, hidden_dim=None): super().__init__() hidden_dim = hidden_dim or dim * 2 # 从输入特征生成滤波器系数，空间维度保持 HxW self.generator = nn.Sequential( nn.Conv2d(dim, hidden_dim, 3, padding=1, bias=False), nn.GELU(), nn.Conv2d(hidden_dim, dim * 2, 3, padding=1), ) # 初始为 0，exp(0)=1，保证滤波器起步接近恒等映射 self.scale = nn.Parameter(torch.zeros(1)) def forward(self, x): B, C, H, W = x.shape # 1. 对空间维度做 rfft2，得到频域特征 x_fft = torch.fft.rfft2(x, dim=(-2, -1), norm="ortho") # 2. 由输入生成滤波器实部与虚部 filt = self.generator(x) filt_real, filt_imag = filt.chunk(2, dim=1) filt_fft = torch.complex(filt_real, filt_imag) # 3. 频域相乘，加恒等项防止初始滤波把特征破坏掉 x_filtered = x_fft * (filt_fft * self.scale.exp() + 1.0) # 4. irfft2 回到空间域，s=(H,W) 恢复原始分辨率 x_out = torch.fft.irfft2(x_filtered, s=(H, W), dim=(-2, -1), norm="ortho") return x_out

这里有几个参数值得单独说明。torch.fft.rfft2只计算一半频谱，因为实信号的频域共轭对称，省掉另一半能省接近一半显存和计算量，代价是后续操作必须记住最后一维是减半的。norm="ortho"是正交归一化，让 FFT 和 IFFT 的变换不改变信号能量尺度，不然特征图的数值范围会在多层堆叠后漂移。irfft2里显式传s=(H, W)是必须写的——因为rfft2已经把最后一维减半，IFFT 如果不指定输出尺寸，恢复不出原始的空间分辨率，shape 直接对不上。self.scale.exp() + 1.0这个恒等项是我复现时保留的一个小技巧：scale 初值为 0，exp(0)=1，加上 1 后滤波器初始等效为常数 1，也就是直通信号。这样训练早期网络先学会“什么都不做”，再由梯度慢慢决定哪些频段该放大、哪些该抑制，比直接随机初始化滤波器系数稳定得多。

整个模块的输出和输入形状完全一致，B×C×H×W进、B×C×H×W出，可以像普通卷积一样嵌进任意骨干网络的 stage 之间。这也是 DFFormer 工程上最舒服的地方——它不需要改动位置编码、分类头或者下采样结构，只把原来插在 transformer block 里的 MHSA 换掉即可。

2.2 与 MHSA 的复杂度对比：二次降到近线性

DFFormer 论文里最核心的卖点，是把 MHSA 的复杂度从二次降下来。这个“二次”具体二次在哪儿，值得展开算一笔账，因为很多读者复现时只记住了结论，没理解为什么高分辨率下差距会被拉得那么大。

MHSA 对一个N=H×W的 token 序列，要计算QK^T矩阵，尺寸是N×N，所以它的时间和显存复杂度都是O(N²·d)。224×224 输入经过 patch embedding 下采样后，N 大约在几千的水平，N²不算离谱；但一旦输入分辨率到 512×512，N 会对应涨到几万甚至十几万，N²直接到亿级，单卡训练基本顶不住。

DFFormer 的动态滤波器只在频域做逐元素复数乘法，FFT 本身的复杂度是O(N log N)，整个模块的量级就是O(N log N·C)。下面这张表把三者的量级和实际感受摆在一起：

我实际用 384×384 输入跑过对比，同样的 batch size，ViT 的显存占用比 DFFormer 高出一大截。DFFormer 的显存上涨趋势也平缓很多，基本是随分辨率线性走，而不是跳变。这也是我推荐在遥感、医疗影像这类高分辨率图像分类任务里优先试 DFFormer 的直接原因。

2.3 为什么“动态”滤波器比固定滤波更合适图像分类

如果只是想把全局操作变便宜，直接用固定的高斯低通滤波、拉普拉斯高通滤波也能做到 O(N log N)，何必绕一圈让网络自己生成滤波器？关键在于“固定”两个字。固定滤波器在频域的形状是死的：低频保留多少、高频抑制多少，全部由设计者拍脑袋决定。而图像分类任务里，不同类别的判别信息落在不同频段——猫的胡须和毛纹理靠中高频边缘，车和船的整体轮廓靠低频结构，一张图里还同时混着光照变化带来的低频分量和噪声带来的极高频分量。动态滤波器让网络根据输入特征自己决定每个频段乘多大的权重，等于在频域上做了一组自适应的注意力。

这一点也解释了为什么 DFFormer 对数据增强比 ViT 更敏感。ViT 的 MHSA 天然在空间域建模，裁剪、翻转这类增强直接被 token 序列感知；DFFormer 的混合发生在频域，增强等于改变了频谱分布，如果增强策略太弱，模型容易在训练集上记住特定频段响应，过拟合特征变成“某个数据集的傅里叶签名”。后面第 3 章的增强参数我会给出实际经验值。

3. 从 class.json 到训练闭环：数据准备与关键超参数设置

图像分类项目的工程落地，数据准备这一步往往比模型代码更影响复现结果。DFFormer 对数据目录结构和标签文件的要求不算苛刻，但 class.json 的生成方式、训练超参数的初始值，直接决定你能不能在一个晚上跑出像样的精度。这一章把该省的坑提前踩平。

3.1 class.json 与数据集目录结构

class.json 是标准的 ImageNet 风格标签映射文件，内容是“类别名 → 整数 ID”的 JSON 对象。DFFormer 分类头输出的维度必须和 class.json 的键数量一致，推理时也需要用它把 Top-1 索引反查成可读的类别名。项目里自带的 class.json 可以视为一个最小可用的模板，结构大致长这样：

{ "cat": 0, "dog": 1 }

如果你的数据是 train 目录下每个类别一个子文件夹，通常用脚本扫一遍目录就能自动生成这个文件，不需要手写：

import json from pathlib import Path data_root = Path("data/train") classes = sorted([p.name for p in data_root.iterdir() if p.is_dir()]) class_json = {name: idx for idx, name in enumerate(classes)} with open("class.json", "w", encoding="utf-8") as f: json.dump(class_json, f, indent=2) print(f"共 {len(classes)} 个类别")

这段代码里两个细节值得提。sorted()保证了类别顺序稳定，否则跨机器运行时类别 ID 对应关系会乱，训练到一半切回来模型就废了。用enumerate从 0 开始编号也和分类头输出的 logits 索引天然对齐。如果有background类或者unknown类，建议放在第一个，ID 为 0，这是很多预训练分类头默认的惯例。

class.json 生成完之后，最好别直接开训，先打印几行看一眼，确认类别数、键名和你目录里的文件夹完全吻合。标签错位是最隐蔽的翻车点——loss 照常下降，但 accuracy 永远上不去，排查起来能熬掉一晚上。

3.2 训练超参数：起始建议与选择理由

DFFormer 不是那种对超参数极其敏感、需要精细搜索的模型，但几个关键参数的起点很重要。我复现时用过的配置如下，可以直接当初始模板：

为什么选 AdamW 而不是 SGD？DFFormer 的动态滤波器由一小串卷积网络生成，参数尺度分布很不均匀，SGD 需要手动调每层学习率，AdamW 的自适应学习率能省掉这一步。label_smoothing在这里比 ViT 更重要——频域混合容易让模型对训练样本的判别过于自信，软化标签后，模型不会去死记某个类别对应的精确频谱模式，泛化会好一些。

梯度裁剪是容易被忽略的配置。FFT 和 IFFT 的梯度会经过复数运算回传，初期频谱分量的梯度幅度可能远大于空间域分支，不裁剪的话前几个 epoch 就可能把生成器的权重推飞。5.0这个阈值不算严格，多数情况下够用。

3.3 训练循环：最小可跑版本

数据准备好、参数定好之后，训练循环本身并不复杂。下面是一个不依赖任何高级框架的最小版本：

model = DFFormer(num_classes=len(class_json)) model = model.cuda() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.05) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=epochs, eta_min=1e-5 ) criterion = nn.CrossEntropyLoss(label_smoothing=0.1) for epoch in range(epochs): model.train() running_loss = 0.0 for images, labels in train_loader: images, labels = images.cuda(), labels.cuda() logits = model(images) loss = criterion(logits, labels) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() running_loss += loss.item() scheduler.step() print(f"Epoch {epoch+1}/{epochs}, Loss: {running_loss/len(train_loader):.4f}")

images的 shape 需要是B×3×H×W，logits是B×C，C 等于len(class_json)，这两处对齐了训练就不会报 shape 错误。scheduler.step()放在一个 epoch 结束后调用，配合 CosineAnnealing 的含义是“每个 epoch 降一次学习率”，如果放到每个 iteration 后调用，学习率衰减速度会快一个量级，后期模型基本学不动。训练过程中重点盯 loss 的下降形态，最好是平稳下滑而不是锯齿状振荡。锯齿状振荡十有八九是学习率偏大、梯度裁剪阈值偏松或者滤波器 scale 初值设置不合理。

4. 把 DFFormer 跑在自己的数据集上：完整训练与验证流程

第三章搭好了训练骨架，这章要填上数据加载、验证逻辑和断点保存这些真正工程化的部分。很多人复现时模型代码没问题、loss 也降了，最后却交不出一个能用的分类器，就是栽在“只训练不验证、只保存不加判断”上。

4.1 数据加载与预处理细节

DFFormer 训练时对输入预处理的要求和 ViT 大体一致，实际用 torchvision 的ImageFolder就能把目录结构、标签映射全部接好。训练集和验证集的 transform 必须分开写，训练集要有随机性，验证集必须确定性输出，否则每次验证的输入都不一样，accuracy 会上下乱跳。

from torchvision import datasets, transforms train_transform = transforms.Compose([ transforms.RandomResizedCrop(224, scale=(0.08, 1.0), ratio=(0.75, 1.333)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.4, 0.4, 0.4, 0.0), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) val_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) train_dataset = datasets.ImageFolder("data/train", transform=train_transform) val_dataset = datasets.ImageFolder("data/val", transform=val_transform) train_loader = torch.utils.data.DataLoader( train_dataset, batch_size=64, shuffle=True, num_workers=8, pin_memory=True, drop_last=True, ) val_loader = torch.utils.data.DataLoader( val_dataset, batch_size=64, shuffle=False, num_workers=8, pin_memory=True, )

RandomResizedCrop的scale=(0.08, 1.0)取自 ResNet 训练惯例，对频域模型特别关键——它让模型看到同一物体在不同尺度、不同裁剪比例下的样子，频域上对应的是频谱整体缩放。如果省掉这一步，模型会记住训练集特有的频谱尺度分布，验证集稍微变化一点精度就掉。num_workers=8在大部分机器上够用，如果训练时 CPU 占满导致 GPU 空闲，先别急着加 workers，优先检查是不是 FFT 计算在 CPU 上偷偷跑了——这个坑第 5 章会详细说。

4.2 验证逻辑与最优模型保存

训练不能只看训练 loss，验证集 accuracy 才是最终交付指标。而且要存“验证集上最好的权重”，不是“最后一个 epoch 的权重”，这是图像分类工程里最基本的习惯。

def validate(model, val_loader): model.eval() correct1, correct5, total = 0, 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels = images.cuda(), labels.cuda() logits = model(images) pred1 = logits.argmax(dim=1) pred5 = logits.topk(5, dim=1).indices correct1 += (pred1 == labels).sum().item() correct5 += (pred5 == labels).sum().item() total += labels.size(0) acc1 = correct1 / total * 100 acc5 = correct5 / total * 100 return acc1, acc5 best_acc = 0.0 for epoch in range(epochs): # ... 训练代码 ... acc1, acc5 = validate(model, val_loader) print(f"Epoch {epoch+1}: Top-1 {acc1:.2f}%, Top-5 {acc5:.2f}%") if acc1 > best_acc: best_acc = acc1 torch.save(model.state_dict(), "best_dfformer.pth")

topk(5, dim=1)返回的是每个样本预测概率最大的前 5 个类别的索引，和 labels 逐元素比较时需要一路保持 dim=1 的形状，不能提前 squeeze。保存逻辑是“只有验证 Top-1 超过历史最优才写盘”，这样训练意外中断后，你永远有一个当前最好的可部署权重，而不是被最后一个 epoch 的过拟合权重坑掉。

4.3 训练日志与指标解读

日志里值得盯的指标有三个：训练 loss、验证 Top-1、两者的差距。健康的曲线是训练 loss 平滑下降、验证 Top-1 同步上升，两条线之间的距离不大。验证 Top-1 如果先升后降，说明开始过拟合，此时优先回调weight_decay或者增强RandomResizedCrop的尺度扰动，而不是加大数据量——数据量在这种场景下往往不是瓶颈。验证 Top-1 一直纹丝不动，基本可以确定是数据处理链路的问题，先打印一个 batch 的输入和标签，看看图片是不是被 transform 毁了、标签是不是错位了，再回头看模型。

5. 实战避坑：DFFormer 训练与推理的四个典型问题

DFFormer 的坑跟 ViT 还不完全一样。ViT 的坑多在位置编码和注意力权重初始化上，DFFormer 的坑集中在 FFT 的复数运算、分辨率变化和滤波器初始化这三个区域。下面四条是我实战里踩过的，每条按现象、原因、解决三段写，方便读者直接对照排查。

5.1 irfft2 输出尺寸对不上，或复数张量导致算子报错

现象：forward 跑到一半，torch.fft.irfft2报错，提示最后一维尺寸不匹配；或者后续某层遇到ComplexFloat张量直接抛出“not implemented”。

原因：rfft2会把最后一维压缩为W//2+1，如果生成器的输出没有按照这个尺寸设计，或者irfft2调用时没传s=(H, W)，IFFT 恢复出来的尺寸就和预期不一致。还有一种情况是代码里直接对复数张量做torch.nn.ReLU()，ReLU 不支持复数运算。

解决：irfft2每次调用必须显式传s=(H, W)，从根上杜绝尺寸漂移；对频域特征做非线性操作时，先.real取实部再进激活函数。我的习惯是让动态滤波器生成器输出尺寸跟rfft2压缩后的频域尺寸保持一致，这样中间不需要任何 reshape。

5.2 训练和推理分辨率不一致，精度掉得莫名其妙

现象：224×224 训练的模型，直接拿到 512×512 的图上推理，Top-1 不升反降，比原来还低几个点。

原因：FFT 的频域 bin 对应的是“整个输入尺寸下的频率”，输入从 224 变成 512，同一个物体轮廓在频谱上落到的 bin 位置完全变了。DFFormer 学到的频域滤波器响应是跟训练分辨率强绑定的，迁移到新分辨率后滤波器按错误的频率位置进行调制，特征自然乱掉。

解决：严格保持推理预处理和训练一致，用Resize(256) + CenterCrop(224)处理推理图；如果必须上高分辨率，别直接换分辨率推理，把模型拿高分辨率数据微调几个 epoch，让滤波器重新适应新的频域分布。频谱是跟着分辨率走的，这个观念不建立起来，DFFormer 的坑会反复踩。

5.3 用 BatchNorm 训练不稳定，尤其 batch size 小时

现象：stem 层换成 BatchNorm 后训练 loss 波动剧烈，验证精度始终上不去；把 batch size 调小后情况更糟。

原因：DFFormer 的 FFT 混合是全局操作，输出特征图的每个位置都包含了整张图的信息，空间维度实际等效于一个全局上下文池化。BatchNorm 统计的是 batch 内该通道的分布，在全局特征上 batch 间差异非常大，统计量不稳定，而 LayerNorm、GroupNorm 是对通道或分组做归一化，与 batch 大小解耦，稳定得多。

解决：动态滤波器模块内部的生成器用 GroupNorm 或 LayerNorm，stem 和分类头前也用 LayerNorm。BatchNorm 不是不能用，但需要更大的 batch size 和更小的学习率来补偿统计抖动，工程上不划算。

5.4 滤波器初始化不当，loss 半天降不下去

现象：训练前十几个 epoch，loss 下降极慢，从 2 附近磨蹭到 1.5 就卡住，再怎么调学习率都没用。

原因：动态滤波器生成器的初始权重随机分布，乘到频域特征上等于给每个频率乘了一个随机放大系数，原始特征被搅乱。网络要先花大量 epoch 把滤波器系数“校正”回接近恒等映射，才能开始正常学习语义特征。

解决：按 2.1 节的做法，生成器输出经过scale.exp() + 1.0的恒等旁路，初始等效滤波器全为 1，保证前向传播时原始特征无损穿过。用这个初始化后，loss 从第一个 epoch 就能正常下降。

6. 进阶验证：输出 Top-5 与频域特征可视化

模型训练完，别急着收工。我平时会做两件额外的验证：一是把单张推理的 Top-5 输出打出来看类间混淆情况，二是把中间层的频域幅度谱画出来，确认模型到底在用哪些频段做分类。

单张推理代码很简单，关键是预处理要和验证集完全一致，不要因为“就一张图”而省略CenterCrop：

from PIL import Image import torchvision.transforms.functional as TF def infer_one(image_path, model, class_json, image_size=224): img = Image.open(image_path).convert("RGB") img = TF.resize(img, 256) img = TF.center_crop(img, image_size) x = TF.to_tensor(img) x = TF.normalize(x, mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) x = x.unsqueeze(0).cuda() model.eval() with torch.no_grad(): logits = model(x) probs = torch.softmax(logits, dim=1) top5 = probs.topk(5, dim=1) id2name = {idx: name for name, idx in class_json.items()} for i in range(5): cls_id = top5.indices[0, i].item() print(f"Top-{i+1}: {id2name[cls_id]} — {top5.values[0, i].item():.4f}")

class_json的键值在这里被反转成id2name，因为推理拿到的是索引，要靠映射变成可读标签。如果 Top-1 和 Top-5 里反复出现同一类别的多个变体，说明模型没学到细粒度区分，问题多半出在数据增强不够狠。

频域可视化是我个人很推荐的一步，因为 DFFormer 的决策依据在频域，不看频谱只看精度，等于黑匣子调参：

import matplotlib.pyplot as plt with torch.no_grad(): x = TF.to_tensor(TF.center_crop(TF.resize(img, 256), 224)).unsqueeze(0).cuda() x_fft = torch.fft.rfft2(x, dim=(-2, -1), norm="ortho") amp = x_fft.abs().mean(dim=1).squeeze(0).log1p().cpu().numpy() plt.imshow(amp, cmap="viridis") plt.colorbar(label="log amplitude") plt.axis("off") plt.savefig("fft_amplitude.png", dpi=150)

log1p是为了压缩幅度谱的动态范围——原始谱低频能量可能高出高频几个数量级，不取 log 的话图里只有中心一个亮点。看到能量集中在中心（低频），说明模型主要靠整体结构区分类别；如果频谱图出现异常的离散亮点，要警惕训练数据里有周期性伪影，模型很可能拿它当捷径了。从那以后，我每次跑完一个新的分类模型，都强制自己先画一遍输入频谱和中间层频谱，确认模型学到的东西跟我理解的分类依据一致，再谈精度优化。这套流程虽然多花十分钟，但能省下好几个瞎调参的晚上，希望帮到你。

本文还有配套的精品资源，点击获取