一、概述

本文的特点是：将物理先验融入扩散模型，利用少量已知光谱波段，生成具有合理空间结构和光谱物理特征的完整高光谱图像。不同于简单图像修复，高光谱图像必须满足：

空间合理性：建筑物、植被、道路等结构应当保持一致。光谱合理性：不同波段之间应具有真实的相关关系。观测一致性：生成结果应与已知观测数据相符。物理合理性：植被指数、辐射特征等不能出现明显不合理的结果。

为了实现上面的要求，本文提出了Any-Diff模型，包含三个组件：MCD掩码条件扩散、MSPL：多尺度物理损失、PGS物理引导采样。

三个模块的分工分别是：MCD：让模型学会从任意波段子集恢复完整光谱；PGS：利用物理损失梯度修正扩散去噪轨迹；MSPL：通过多尺度物理损失训练出更合理的光谱分布。可以理解为：MCD 决定模型能接收什么条件，MSPL 决定模型学到什么分布，PGS 决定生成过程往什么方向走。

二、方法

2.1MCD掩码条件扩散

2.1.1模拟传感器观测

本文首先构建了一个光谱响应函数库（SRF），这些光谱响应函数均来自真实的传感器（Sentinel-2、Landsat-8/9、EO-1 Hyperion 等）。每次训练时，会随机选择一个传感器，对整个高光谱图像进行观测变换：，对于单个辐射波段来说，可以描述为：。

假设目标高光谱图像有103个波段，Sentinel-2 某个宽光谱波段观测到的并不是103个波段中的某一个，而是多个波长处反射率的加权积分。物理传感器模拟比简单地选择某几个波段更加接近真实跨传感器观测过程。

2.1.2随机掩码

完成2.1观测模拟后，模型进一步采用随机掩码模拟缺失：，上式中表示稀疏观测数据。表示哪些位置、哪些波段具有有效观测。表示随机丢弃概率（0.1~0.7）

2.1.3通过CAM注入扩散U-Net

不同于普通条件扩散，AnyBand-Diff不仅将条件作为输入，而是让条件信息动态改变U-Net中间状态的分布。

首先使用轻量化编码器为U-Net不同层生成调制参数：，再进行特征调制：。它本质上是一种条件仿射调制，相较于传统拼接主要在输入层引入观测信息，CAM 可以在多个特征层持续影响网络，使中间特征随输入波段集合变化。在真正的实现中，可以将其拆成三个组件：Condition Encoder：对编码；CAM Generator：将条件特征映射为各层的；Diffusion U-Net：在各层 ResNet 后应用调制。

2.1.4MCD的训练目标

MCD采用的是标准噪声预测框架：，。关键在于：随机掩码作用于条件输入，而非直接改变目标图像的前向扩散定义。

2.2 PGS 物理引导生成

2.2.1可微物理算子

可微物理算子，用于把生成的高光谱图像转换为具有物理意义的描述。如NDVI：植被指数；NDWI：水体指数；RTM Emulator：辐射传输模型的可微替代模型。

设存在目标物理观测，那么构造物理一致性损失：。这意味着在每个去噪步骤，都要检查当前预测结果是否满足物理条件。假如使用NDVI：

如果存在可信的 NDVI 参考图，那么模型就可以比较当前重建结果与参考图之间的差异。但要注意：推理阶段不能默认使用真实完整高光谱图像计算目标 NDVI，否则会造成真实目标信息泄漏。对于只给出部分波段的场景，需要从已观测数据、独立先验或物理可行域构造目标约束。

2.2.2当前扩散状态的物理梯度

针对这个问题，本文提出了公式：。注意，梯度并不是对网络参数求导，而是对当前扩散状态求导。计算图如下所示：

在PyTorch实现中意味着推理过程中不需要通过优化器更新 U-Net 权重。物理先验通过梯度影响采样状态，而不是通过反向传播反复训练网络。

2.2.3DDPM的梯度注入

可以描述为公式：，其中表示物理引导强度，是当前物理损失噪声的梯度，是噪声水平相关的缩放因子。修正后的即可代替正常预测噪声，执行DDPM的反向更新。

需要注意的是，物理引导强度并非越大越好，实验结果表明，物理引导强度在超过一定限度会让结果出现劣化。

2.3MSPL多尺度物理损失

如果说 PGS 是在推理时修正结果，那么 MSPL 就是在训练时让网络提前学习合理的光谱物理结构。论文将其分成三个层次（像素层，区域层，图像层），描述为数学公式：

，原文中，权重参数分别为：。

2.3.1像素层

像素层主要负责光谱相关性约束，实际约束的是跨空间像元统计得到的波段相关矩阵。对于输入高光谱图像，首相将其变形为。对每两个波段计算Pearsib相关系数，构建函数

然后与物理先验相关矩阵比较：，但原文并未给出先验矩阵的来源，可能是通过训练数据统计、材质类别统计，还是从外部光谱库获得。直观上，这要求生成的各个波段之间保持合理的统计依赖关系。

2.3.2区域层

由于HSI存在同物异谱的特性，单纯进行波段约束难以保证生成数据的质量。本文还在局部patch上进行物理计算，具体流程为：提取局部patch->计算NDVI/NDWI->计算KDE+KL散度。对应的损失函数为：

其中，是真实图像patch，是生成图像patch，是第个物理指数算子，KDE是核密度估计。

2.3.3图像层

图像层的作用主要是负责辐射传输的一致性，使用RTM代理模型来对整体辐射特性施加约束。可以描述为公式：

其目的不是让像素值简单接近，而是让生成图像和真实图像在物理代理模型的特征空间中接近。

2.4最终损失函数

正文分别给出了 MCD 与 MSPL 的损失，但没有明确写出完整的联合训练总损失以及所有权重。可以描述为：

，其中需要进行调优。