AV2T-Gen
环境和车辆的状态引导下的航拍RGB转红外
任务概览、带有环境/车辆元数据的配对RGB-T数据
航拍RGB转热红外，并不是说要“换一种灰度风格””，而是为了得到更准确的热红外图像
同一个目标，在不同的环境和运动状态中，热辐射的特点是不一样的
AV2T-Gen 明确地加入了温度、湿度、气压、风速等环境因素
同时把车辆运动或者静止的状态当作是细粒度的控制信号
并且建立29672组带有环境和车辆状态注释的航拍RGB-T数据
环境感知车辆状态感知
论文核心速览
论文标题：AV2T-Gen: Aerial Visible to Thermal Generation with Environment and Vehicle State Guidance
作者：Kun Yang, Yuxiang Liu, Yihan Wang, Shen Yan, Maojun Zhang, Yu Liu*, Xue Wang, Qing Wang
单位为：西北工业大学、国防科技大学
论文链接：https://eccv.ecva.net/virtual/2026/poster/3919
代码：https://github.com/NPU-CVPG/AV2T
一句话总结：AV2T-Gen 将环境参数和车辆运动状态显式地包含在航拍可见光→热红外扩散生成中，并且同时构建带有丰富的环境/目标元数据的配对RGB-T数据集。
从环境条件到热红外生成：一条“物理感知”条件链路
目前可见光到热的方法虽然已经从GAN发展到了Diffusion/Flow，但是很多方法仍然比较接近于“外观或风格变换”。对于真实的热成像来说，还不行，因为环境温度、湿度、气压、风速以及车辆是否运动都会改变热红外响应。
因此作者并不是仅仅为了视觉上的“像热红外”而进行创作，同时还希望能够得到的结果既符合物理一致性与上下文一致性。这也是本文最重要的起始点。
物理一致性不是简单的风格迁移
Part 1
方法拆解：四种信息怎样进入到扩散模型中
并不是要给扩散模型增加一个提示词，而是要把场景条件拆分成可以对齐、可以控制的多个模态表征。
环境侧用GPS和拍摄时间来关联温度、湿度、气压和风速，从而形成文本Prompt；
车辆侧通过YOLOv11和时序信息来判断moving/stationary/unknown，并且和通用标签进行融合；
Ram-Grounding 提供标签和框，SAM 提取对象 Mask，CLIP 编码标签和环境文本；
最后把条件嵌入、可见光潜变量一起进入UNet，一步步得到热红外潜变量。
① 环境条件链路。通过GPS以及采集的时间来得到该区域的时间、温度、湿度、大气压强、风速等并且通过插值得到连续的时间条件，然后组合成环境Prompt。
② 车辆状态链路。首先使用YOLOv11在航拍可见光序列中检测出车辆，然后结合时序来判断同一个车辆是stationary、moving或者unknown，并把状态写入目标标签。
③ 基础模型条件提取。Ram-Grounding 负责通用标签和 bounding box 的处理工作，SAM 会根据框来生成准确的 Mask Embedding，CLIP 负责编码 Label 与环境 Prompt；经过 Mask、Label 和 MLP 的融合之后，再和 Prompt Embedding 合并成为 UNet 控制条件的一部分。
潜空间生成。冻结的 VAE 负责RGB/thermal潜空间映射，训练的UNet负责在条件引导下完成去噪预测。论文中已经明确指出 RAM、SAM、CLIP 等大模型保持冻结状态，只有 MLP 和 UNet 参与到训练当中。
CLIP/SAM/RAM-Grounding多模态条件控制
Part 2
实验结果：不仅要判断“是否相似”，还要看它能否被推广到其他场景中去，并且能够被用来进行检测
主要结果：All Scenes 上 PSNR 24.08、SSIM 0.750、FID 67.45、LPIPS 0.29
在统一的数据和设置之下，AV2T-Gen 在四个独立的场景以及All Scenes汇总测试中都取得了论文报告的最佳成绩；作者还在LLVIP上做零样本和微调的测试，并且用leave-one-out的方式去验证跨场景迁移的效果。
实验
数据与训练。作者创建了四个航拍场景：substation 3,175 对、school 9,428 对、square 10,505 对、driving school 6,564 对，总共29672对，640×512 RGB-T按照 9:1 的比例进行划分；训练100个epoch，并且使用了8个RTX 4090显卡（总共有24GB显存）。
主结果。在 All Scenes 汇总测试中，AV2T-Gen 报告 PSNR 24.08、SSIM 0.750、FID 67.45、LPIPS 0.29；论文表 1 中这四条都比 DiffV2IR、PID、sRGB-TIR 和 ThermalGen 好。
跨数据、跨场景。LLVIP 上除了做零样本学习之外，还做了微调；同时用leave-one-out的方法做四个场景的实验来检验场景的特异性。论文由此认为模型所学到的条件映射具有一定的迁移能力，并不是仅仅记住一个场景的统计数据。
计算开销。完整的框架大约有15.5亿个参数，主要是对基础模型和扩散模型进行冻结；论文给出的640×512单张图片总的推理时间大约为10秒，所以它的定位是离线高保真数据生成引擎，并不是实时机载部署模型。
29672 对 RGB-T跨数据、跨场景验证
Part 3
训练的目标是条件嵌入、扩散去噪和结构保持
VAE 将 RGB 与真实热红外映射到潜空间中，冻结的编码/解码器负责对紧凑表征和重建；
环境Prompt、Mask Embedding和Label Embedding一起组成了条件控制；
UNet在可见光潜变量、条件嵌入以及共同约束之下进行迭代去噪；
训练的目标是潜空间L1、Sobel边缘L1以及VGG感知损失，它们的权重分别是1.0/0.5/0.25。
VAE 编码和解码：可见光输入首先会被编码成潜变量，然后预测出的潜变量再进行解码得到热红外图像。
条件嵌入：环境Prompt和经过Mask/Label融合之后得到的对象上下文一起组成了最后的控制条件。
扩散去噪：在每一个时间步中，UNet 同时接收到噪声潜变量、条件嵌入和可见光潜变量。
总损失：潜空间L1保证整体映射，Sobel边缘损失加强结构，VGG感知损失补充细节。
潜空间扩散边缘+感知约束
消融结论。完整的模型在All Scenes上的分数是24.08/0.750/67.45/0.29。去掉环境Prompt之后降到22.29/0.700/77.66/0.31，说明环境条件不是装饰性的输入。
环境变量敏感性。论文还进一步去掉Temperature、Humidity、Wind Speed、Air Pressure，并给出各因素的重要性排序如下：T>H>V>P。
下游检测。在相同的车辆检测器下，生成热红外的检测结果中Ours达到mAP 15.6%，mAP50 35.9%，mAP75 11.1%，mAP_s 14.2%；这就表明评价不仅仅是停留在像素/感知指标上，还会涉及到任务可用性的方面。
环境变量T＞H＞V＞P车辆检测可用性
本文最值得一看的地方是把环境因素和车辆状况把它们变成显式的可控制变量，并使Visible-to-Thermal生成从“视觉拟态”向“上下文/物理一致性”的方向发展。
局限也很明确：15.5B 级完整框架和大约 10s/张图片的推理成本使得目前它更适合用作离线数据生成器。作者在结论部分提出的下一步工作就是把实时传感器的数据融合进来，并且用时序来追踪历史，从而得到更加精细的车辆Prompt。
往期推荐
END
