简介：面向医学影像超分辨率重建这一细致场景的深度学习实践项目包，完整收录了基于 DIV2K 与 DeepLesion 数据集的实验方案，适用于深度学习、医学图像处理方向的本科毕业设计或项目实践。项目围绕自然图像与 CT 图像两条主线展开：先以 ESPCN、DWSR、EDSR 为基线，分析各自不足，引入小波变换、U-Net 与感知损失搭建 LU-MWCNN 多任务模型，在自然图像上获得优于 baseline 的重建效果；再针对 CT 图像提出 CT-LPIPS 评价方法，并利用 Cornerstone.js 构建可预览 DICOM 的 Web 服务，后端采用 Flask 与 PyTorch 实时推理，打通从训练、评估到部署的完整链路。资源共 173 个文件，以 52 个 Python 脚本为核心，另含 21 个 JavaScript 前端文件、15 个 Shell 脚本、示例 BMP/PNG 图像及其余配置与样式文件，压缩包大小 9.52MB，模块划分清晰，便于按需取用。已有 1203 人浏览学习，适合具备一定深度学习基础、希望将超分技术落地到医学影像场景的研究者与开发者参考。

1. 图像超分辨率在医学影像场景下的真实需求

一张512×512的肺部CT窗口图，医生想放大2倍去看疑似病灶的边缘细节，传统的双三次插值放大后边缘是糊的，这不仅是观感问题，也会影响诊断时的判断。这个项目的目标，就是做一套完整的深度学习图像超分辨率重建方案，先在DIV2K自然图像数据集上把模型调稳，再迁移到DeepLesion的CT图像上验证，最后搭一个Web平台让医生直接拖入DICOM文件预览重建结果。这套方案适合正在做人工智能图像识别方向课程设计或毕业设计的学生，也适合要在医学影像系统里补超分模块的从业者——前者可以照着章节结构交报告，后者可以拿里面的数据处理和部署部分直接改。

2. 数据集与baseline选型：DIV2K预实验与DeepLesion的Key_slices实战

2.1 DIV2K的800+100划分：为什么自然图像先跑通再做医学图

DIV2K是超分辨率方向最常用的一套自然图像数据集，训练集800张、验证集100张。先说一个容易踩的坑：很多人把验证集当成“最终考试卷”，却忽略了超分领域的DIV2K验证集本身就是公开的本地评估集合，真正的线上测试要单独提交。做课程设计或项目实践时，不需要也没有条件接触线上测试提交，所以更合理的做法是把这100张验证集当成本地调参测试集固定下来，训练过程每5个epoch跑一次验证，记录PSNR和SSIM的变化曲线。

为什么要先自然图再医学图？因为医学图像的数量级、噪声分布、灰度动态范围和自然图像差异太大，如果一开始就在医学图上训练，模型不收敛时很难判断是网络结构的问题，还是数据预处理的问题。先自然图后医学图，相当于把“模型超参数”和“医学图像特性”两个变量解耦，出了问题能定位到具体环节。我习惯的做法是：DIV2K上确定损失函数和训练策略，DeepLesion只做微调和验证。另一点值得注意的是评估指标，PSNR只衡量像素级差异，SSIM衡量结构相似度，两者互补，但都偏向亮度与边缘的整体还原，后续在医学图像上还需要一个感知层面的指标，这部分留到第4章单独展开。

2.2 DeepLesion的Key_slices：CT数据读取与预处理要注意的第一步

DeepLesion是一个公开的CT图像数据集，实验中所取的是它的Key_slices。所谓Key_slices，就是每一条病例中有病灶标注的那几层切片。一个完整的CT序列可能有几十层甚至上百层，但真正有价值的信息集中在这些关键切片上，直接用全序列做超分既浪费算力也引入大量无关组织干扰。

CT图像和自然图像最大的区别在于：CT是单通道、12比特灰度，像素物理含义是HU（亨斯菲尔德单位），而不是普通RGB的0到255亮度。读取时必须通过pydicom拿到RescaleSlope和RescaleIntercept两个字段，把存储值转成真实的HU值，然后再按窗宽窗位做截断和归一化。我一般会额外加一个“窗口显示”验证步骤，用肺窗或纵隔窗的参数看一眼归一化后的图像，确保网络看到的灰度分布和医生工作台上的显示是一致的。

这一步很容易被忽略，但它决定了后面所有训练的输入质量。如果网络吃进去的是未经HU转换的原始存储值，模型学到的就不是组织的物理密度差异，而是设备厂商写入时的编码痕迹，换一台设备重建效果就会明显下降。另外，很多预训练骨干网络期望三通道输入，把单通道CT复制三次是常规操作，但要保证最终输出时只取单通道。数据输入上必须统一这个通道策略，否则训练和推理阶段模型会因通道数不一致直接报错。

2.3 baseline为什么选ESPCN、DWSR、EDSR：三个方向的取舍

baseline的选择不是随便挑三个模型堆在一起。ESPCN代表“速度快”，DWSR代表“体积小”，EDSR代表“精度高”，覆盖了超分辨率系统在落地时最关心的三个维度。后面LU-MWCNN的改进要在PSNR、SSIM和推理速度上都超过这三者才算数，如果只超过其中一个，验收时说服力是不足的。

复现baseline时还有个细节：所有模型必须共用同一套训练协议。patch大小、batch size、优化器、学习率衰减策略、数据增强开关全部统一，避免把训练配置差异当成模型能力差异。通常的做法是写一个公共配置类，所有训练脚本从同一个配置类读参数，这样结果出了问题也能从配置上排查。

3. 自然图像上的改进与实现：小波+U-Net+感知损失的LU-MWCNN

3.1 小波变换的四个子带：低频保留、高频学习的设计思路

LU-MWCNN的核心是离散小波变换DWT与U-Net的结合。二维Haar小波会把图像分解成四个子带：LL是低频近似，LH、HL、HH分别代表水平、垂直、对角方向的高频细节。图像在降采样退化过程中，损失的主要是高频细节，低频信息基本能靠插值保留。所以模型反其道而行之：低频子带不用网络去猜，直接从输入图像插值或复制得到；U-Net只负责学习三个高频子带。

这个设计有一个直接好处：网络不需要重新生成图像的整体结构和亮度分布，只需要补高频边缘，大大降低了学习难度。实现DWT时可以借助torch.nn.functional的卷积操作，把固定滤波器作为卷积核：

import torch import torch.nn as nn import torch.nn.functional as F def dwt_init(x): """Haar小波分解，输入BCHW，输出四个子带沿通道拼接的结果""" b, c, h, w = x.shape # 将每个像素拆成2x2的块 x = x.view(b, c, h // 2, 2, w // 2, 2) # 按Haar系数组合出四个子带 ll = (x[:, :, :, 0, :, 0] + x[:, :, :, 1, :, 0] + x[:, :, :, 0, :, 1] + x[:, :, :, 1, :, 1]) / 2.0 lh = (x[:, :, :, 0, :, 0] + x[:, :, :, 1, :, 0] - x[:, :, :, 0, :, 1] - x[:, :, :, 1, :, 1]) / 2.0 hl = (x[:, :, :, 0, :, 0] - x[:, :, :, 1, :, 0] + x[:, :, :, 0, :, 1] - x[:, :, :, 1, :, 1]) / 2.0 hh = (x[:, :, :, 0, :, 0] - x[:, :, :, 1, :, 0] - x[:, :, :, 0, :, 1] + x[:, :, :, 1, :, 1]) / 2.0 return torch.cat([ll, lh, hl, hh], dim=1)

这段实现有三个要点：一是输入必须是偶数尺寸，否则view操作会报尺寸错误；二是四个子带沿通道维度拼接，方便后续U-Net并行处理；三是边界没有做padding，因此上游做裁剪时要预留偶数尺寸。Haar小波系数固定、可微、带正交性，梯度能正常回传，不需要额外定义反向传播逻辑。

3.2 U-Net主干与多任务损失：训练循环与关键参数配置

三个高频子带拼接后输入U-Net，输出同样通道数的高频预测，最后和低频子带一起做小波逆变换，重建出高分辨率图像。训练时的损失不是单一L1 loss，而是多任务联合：

class LUMWCNN_Loss(nn.Module): def __init__(self, lambda_rec=1.0, lambda_per=0.05, lambda_hf=0.1): super().__init__() self.lambda_rec = lambda_rec self.lambda_per = lambda_per self.lambda_hf = lambda_hf def forward(self, pred_hr, gt_hr, pred_hf, gt_hf, vgg_features): """ pred_hr: 最终重建的高分辨率图像 gt_hr: 高分辨率真值 pred_hf: 网络预测的高频子带 gt_hf: 真值经小波分解后的高频子带 vgg_features: 冻结的类VGG特征提取网络 """ # 重建损失：约束整体像素一致性 loss_rec = F.l1_loss(pred_hr, gt_hr) # 感知损失：约束重建结果与真值的深层特征一致性 loss_per = F.l1_loss(vgg_features(pred_hr), vgg_features(gt_hr)) # 高频子带损失：直接监督网络真正要学的目标 loss_hf = F.l1_loss(pred_hf, gt_hf) return self.lambda_rec * loss_rec + self.lambda_per * loss_per + self.lambda_hf * loss_hf

损失分为三部分：重建损失负责整体像素一致，感知损失负责视觉纹理贴近真实高频，高频子带损失则直接监督U-Net的学习目标。感知损失用的是类VGG特征提取网络中固定层的输出，一般是第三个池化前的卷积特征，训练时特征网络参数完全冻结，只做前向计算。这三个权值不是拍脑袋定的，而是先固定重建损失为1，再对感知权重做0.01到0.1的扫描，选PSNR和SSIM综合最优的一组。

核心训练参数建议这样设置：输入patch大小96×96，batch size 16，优化器Adam，初始学习率1e-4，每30个epoch将学习率衰减到0.5倍，总计训练200个epoch。训练时除了常规的水平翻转和90度旋转，还要加一个随机裁剪位置的控制：每次裁剪的patch中心尽量落在图像边缘丰富区域，这样能避免模型只学到平滑区域而忽略真正需要重建高频纹理的地方。

3.3 提升效果的关键细节：归一化、数据增强与消融控制

训练前先把图像的像素值除以255归一化到0到1区间，不能直接喂0到255的整数矩阵，否则梯度会被放大导致训练不稳。数据增强里，颜色扰动对自然图像有效，但后面迁移到CT时要关闭，因为CT的灰度有物理含义，不能随意调色。

消融实验要单独跑三个版本：去掉感知损失、去掉高频子带监督、两者都去掉，分别记录指标。这样做的目的是在报告里能说清楚“小波+感知损失”组合里每个模块各自贡献了多少指标提升。如果不去跑消融，答辩时很容易被问住，因为评审老师一定会问“你怎么证明这两个模块不是冗余的”。通常消融实验的结果是：去掉高频子带监督后，模型收敛变慢，PSNR下降约0.2dB；去掉感知损失后，SSIM基本持平但主观纹理变糊，CT-LPIPS分数变差。这些数字本身就是答辩时最好的论据。

4. 医学图像上的落地验证：CT-LPIPS类VGG训练与对比实验

4.1 为什么感知损失不能直接搬去CT图像

自然图像上用的感知损失，通常直接取在ImageNet上预训练好的VGG特征网络。但CT图像是单通道、12比特高动态范围，灰度分布和自然图像的RGB分布差异很大。预训练VGG提取的特征更多是自然纹理的语义响应，用在CT上会产生两个问题：一是梯度方向被自然图像先验带偏，重建结果出现伪纹理；二是评价指标和医生的视觉感受不匹配。

所以这个项目在医学图像阶段没有沿用自然图上的感知损失，而是训练了一个CT-LPIPS指标。它的思路和LPIPS一致：通过一个可学习的类VGG网络提取深层特征，在两个图像patch之间计算感知差异，但网络和训练数据都换成CT域。训练完成后，CT-LPIPS不只是作为评价指标，还可以在医学图像的微调阶段当作损失函数使用，让网络在DeepLesion上进一步适应CT纹理。

4.2 CT-LPIPS的网络设计与训练数据构造

类VGG网络的结构描述如下：五个卷积组，每组两个3×3卷积加一个最大池化，通道数从16开始逐组翻倍，到最后一组256，然后在倒数第二层做全局池化，最后用一个比较头计算特征差的L2距离。

训练数据不需要额外标注，利用DeepLesion原始高分辨率的Key_slices自己构造退化对就行：

def build_ct_train_pair(ct_slice, downscale=2): """ 构造CT-LPIPS训练对：退化图像 -> 原图 ct_slice: 归一化到0-1的单通道CT切片 """ h, w = ct_slice.shape # 先降采样到1/downscale尺寸 lr = F.interpolate( ct_slice.unsqueeze(0).unsqueeze(0), scale_factor=1.0 / downscale, mode='bicubic', align_corners=False ) # 再放大回原始尺寸，模拟插值退化过程 lr = F.interpolate(lr, size=(h, w), mode='bicubic', align_corners=False) # 加一点高斯噪声，模拟设备成像噪声 lr = lr + torch.randn_like(lr) * 0.01 return lr.clamp(0, 1)

这里先对高分辨率CT切片做双三次降采样，缩小到一半，再加高斯噪声模拟设备成像噪声，最后放大回原始尺寸。这样得到的图像对里包含真实的退化模式，网络能学到“哪些模糊可以容忍、哪些模糊不可接受”。训练时把原图和退化图同时输入类VGG网络，取特征做L2距离，再用排序损失让网络学会“退化程度更严重的patch，感知距离分数更高”。

4.3 DeepLesion上的评价协议：全图评估与病灶区域评估

在DeepLesion上做对比实验时，不能只报全图PSNR，因为医学图像关注的是病灶区域。评价协议分成两层：第一层是全图PSNR和SSIM，反映整体重建质量；第二层是把标注的病灶区域裁剪出来，单独计算病灶区域的PSNR、SSIM和CT-LPIPS。每个模型重复跑三次，记录均值加减标准差，避免单次随机性导致的结果偏差。

从实验结论上看，LU-MWCNN在病灶区域的高频恢复明显比三个baseline更稳定，CT-LPIPS分数也说明医生视觉感受到的纹理重建更自然。这正好印证了高频子带监督的作用——自然图像上它能补边缘，到了医学图像上它补的就是病灶边缘和软组织纹理。

评价脚本走同一条链路，所有模型输入同一个低分辨率测试集，输出到同一个目录，然后统一调用评估函数。不要把评价逻辑写在训练脚本里。训练脚本每epoch自动评估、评估脚本只做推理和统计，两者职责分开，后面更换模型或数据集时只需要改配置文件，不会因为改了训练逻辑而污染评测结果。

5. 避坑指南：医学图像超分辨率项目中最容易翻车的五个环节

5.1 DICOM解析丢失了HU值，模型输出全黑或花屏

现象：训练时loss下降得很低，但推理输出却是一张黑屏或者花屏的图。

原因：pydicom读出来的原始像素是存储值，真正的物理量是经RescaleSlope和RescaleIntercept换算后的HU值，漏掉这两步等于让网络在一个没有物理含义的数值范围上乱学。典型的换算代码不长，但很容易被跳过去：

# 先做HU转换，再截断到组织密度有效范围 hu = pixel_array * RescaleSlope + RescaleIntercept hu = hu.clip(-1024, 1024)

解决：解析DICOM后强制做一次“窗口显示”验证，用肺窗（窗位-600、窗宽1500）或纵隔窗看一眼图像，确认灰度分布正常再进入推理流程。我见过很多次花屏问题，最后定位到都是少乘了一个RescaleSlope，损失值再好看也没有意义。

5.2 降采样方式不一致，对比实验的公平性直接作废

现象：同一个模型隔一天跑出来的PSNR差了0.5dB，baseline的结果忽高忽低，无法判断哪个模型更好。

原因：生成低分辨率训练对时，有的代码用双三次插值，有的用最近邻再四舍五入，操作方式不一致，导致同一模型在不同时间点承担了不同难度的任务，结果自然不可比。

解决：全项目统一一个降采样函数，固定写成bicubic并打开抗锯齿，同时固定随机种子和数据加载顺序。通常的做法是把降采样逻辑抽成公共utils函数，所有baseline和LU-MWCNN共用同一个入口，谁都不允许在各自的训练脚本里另写一套。

5.3 小波子带拼接时边界伪影

现象：重建出来的图像在子带交界位置出现条纹状的边界伪影，看起来像周期性的细线。

原因：小波分解和逆变换过程中，边界没有做padding处理，高频子带在图像边界处产生了振荡，逆变换后振荡被放大成可见条纹。

解决：在小波变换前对输入做边缘反射padding，尺寸保证是2的整数倍，并在反变换后裁剪回原始尺寸。这个小细节不处理的话，PSNR可能掉0.1到0.2dB，肉眼几乎不易察觉，但会在指标上暴露问题。

5.4 实时推理延迟失控，Web演示当场翻车

现象：演示时一张512×512的CT图推理耗时1.2秒，鼠标拖一下窗口要等很久，整体观感很差。

原因：后端直接加载PyTorch模型在CPU上逐张推理，没有做任何优化，模型前向计算里还带着Dropout等训练模式下的分支。

解决：先把模型切成eval模式并包在torch.no_grad里，再尝试转成TorchScript或ONNX格式做算子融合。如果目标机器是CPU，可以关掉部分冗余通道做一次轻量化剪枝；如果时间来不及，也可以在Web服务里加一个“快速预览”开关，先用双三次插值出结果，后台再异步跑超分模型，避免演示时一直转圈。

5.5 感知损失系数靠玄学，没有消融实验背书

现象：感知损失系数调到0.1之后模型输出出现虚假纹理，边缘很锐利但组织结构不对，看上去“过锐了”。

原因：感知损失与像素重建损失之间缺乏权衡，不同数据集的纹理分布不同，同一个系数不可能通吃。

解决：把感知损失系数当作超参数做网格扫描，固定其他损失权重不变，分别尝试0.01、0.05、0.1，记录PSNR、SSIM和CT-LPIPS三个指标的走势。通常结果是：系数过大纹理虚假但指标下降，系数过小纹理偏肉但指标稳定，选综合最优的一组写进实验报告。答辩时能拿出这条折线图，比空口说“效果不错”有说服力得多。

6. 验收与答辩：从指标复现到平台演示的准备方法

6.1 对照实验结果表：一张能直接打印的数据记录模板

填表之前，必须确保每个模型都是在同一套训练配置、同一套数据划分、同一套评价函数下跑出来的，否则数字没有对比价值。我通常会在项目目录里留一份evaluate.py，固定输入路径和输出路径，让所有模型走同一条评价链路。另外建议保存一份模型输出对比图，选三张典型CT图放大到局部，把原图、双三次插值、EDSR、LU-MWCNN的结果并排放在一起。指标表告诉评委结果是好的，输出图告诉评委这些数字直观上意味着什么。

6.2 答辩的因果链：先讲Why，再讲How

答辩时最容易出现的翻车是“演示平台很炫，但说不清为什么这样设计”。我习惯按这样的因果链去准备PPT：医学影像诊断需要细节，插值放大不够，超分辨率重建能补高频，自然图训练好模型再迁移到医学图，迁移时感知损失失效，于是训练CT-LPIPS，最后用Web平台把能力交付给医生。每一步都有上一环节的不足作为理由，评审顺着这条链问下去，任何一环都准备了实验数据支撑。

6.3 Web平台功能验收清单与演示脚本

Web平台以CT图像为例，前端借助Cornerstone.js库渲染DICOM，提供重建按钮，点击后把当前显示的截取图像发送给后端，后端用Flask封装PyTorch推理接口，完成超分后把结果回传给前端，叠在原图旁边做对比。功能验收清单可以按这个顺序逐项勾选：DICOM加载、窗宽窗位调节、病灶区域选择、超分请求发送、结果回传显示、原图与重建图同步缩放。

从那以后，我每次做这种带实验对比的项目，都强制自己先写验收表再动手训练，表格里的空行时刻提醒我“哪些指标还没跑出来”。如果验收表能完整填满，再去准备平台演示，心里就有底了，答辩也只是把这张表讲清楚而已。希望这套从数据集选型到Web部署的完整方案能帮到你。

本文还有配套的精品资源，点击获取