ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Iris-3B图像修复与4倍超分教程:一步生成式修复模糊退化老照片

Iris-3B图像修复与4倍超分教程:一步生成式修复模糊退化老照片
  • 人工智能
  • 大模型
  • 基础模型
  • 媒体生成
  • 计算机视觉

【免费下载链接】iris-3b

项目地址:https://ai.gitcode.com/hf_mirrors/speridlabs/iris-3b
点击查看免费下载

Iris-3B 是一款 30 亿参数的像素空间生成模型,它的超分辨支模型支持一步图像修复与 4 倍超分:把模糊、有噪点、低分辨率的老照片直接输进去,一次前向推理就能还原出清晰锐利的高清大图。本教程手把手教你从零部署 Iris-3B,完成一键老照片修复。

什么是 Iris-3B 像素空间修复模型?

传统图像生成器大多在压缩的"潜空间"(latent space)里工作,再靠解码器还原成像素,过程会有信息损失。Iris-3B 走的是另一条路线:网络直接输出每一个像素,不经过 VAE 和潜空间。

这套"像素空间先验"除了文生图,还被微调成了通用视觉模型:同一个主干(不做任何架构改动),仅更换任务权重,就能做:

  • 🖼️图像修复 + 4 倍超分(upscaler/目录)
  • 📷单目深度估计(depth/目录)
  • ⚡4 步极速出图(turbo/ 目录,4 步蒸馏版)

修复模型的训练采用一步对抗式修复(HYPIR recipe),在 DIV2K 验证集 4× 任务上达到 LPIPS 0.292、PSNR 20.68 的成绩,且全程只需一次前向传播,甚至不需要文本编码器(以空提示词 empty prompt 运行),因此速度快、依赖少。

环境准备:一键安装与权重下载

修复模型对硬件的要求很明确:一台NVIDIA GPU(CUDA)、Python 3.11+、PyTorch 2.7.1+。

第 1 步:克隆代码仓库

git clone https://gitcode.com/hf_mirrors/speridlabs/iris-3b cd iris-3b pip install -e .

第 2 步:只下载修复模型权重

完整仓库的权重文件较多(主模型约 12 GB),做图像修复只需要 upscaler/ 文件夹,按需下载即可:

hf download speridlabs/iris-3b --include "upscaler/*" --local-dir iris-3b

下载完成后,你会看到这三个核心文件:

文件作用
upscaler/model.safetensors修复 + 超分主权重(EMA)
upscaler/empty_prompt.safetensors空提示词嵌入,免文本编码器
upscaler/config.yaml架构与采样配置

一条命令完成图像修复与 4 倍超分

部署好之后,修复一条命令就搞定:

python scripts/upscale.py photo.jpg --out upscaled

把photo.jpg换成你的老照片路径,--out指定输出目录。运行结束后,输出目录里会出现形如photo_x4.png的结果文件——宽高各放大 4 倍,同时完成去噪、去模糊等退化修复。

几个值得注意的设计细节:

  • 大尺寸输出自动分块:修复时会把大图切成重叠的 1024×1024 窗口逐块处理(配置见 upscaler/config.yaml 中task.tile: 1024),因此即使原图较大也不会爆显存,接缝处也有重叠过渡。
  • 无需提示词:整模型以空提示词单次前向运行,你不需要像文生图那样写 prompt,对新手非常友好。
  • 确定性结果:修复任务用的是固定 σ = 0.5 的一步生成配置(见 upscaler/config.yaml),同样的输入会得到一致的输出。

效果示例:模糊照片变清晰

下面两张就是官方示例的输入原图——一张低分辨率的雪豹照片和一张明显模糊失焦的沙狐照片,正好模拟了"模糊退化老照片"的典型场景:

把它们交给upscale.py,模型在一步前向中补全毛发、纹理等细节,4 倍超分后的结果如下:

对比可以看到:输入图的整体发糊、噪点和压缩痕迹,在修复后被替换成了清晰自然的细节,而画面主体和构图保持不变——这正是生成式修复相比传统插值放大的优势。

老照片修复实用技巧 💡

  • 尽量保留原图信息:输入图只要"能认出来"即可,哪怕只剩低清轮廓,生成式先验也能帮你补全细节;但如果原图本身被严重裁剪、主体残缺,模型无法凭空恢复缺失内容。

  • 修复 ≠ 精确复原:生成式模型会"合理想象"细节,适合老照片翻新、艺术化处理;如果做档案级修复(要求与原件逐像素一致),建议以传统方法为主、生成式为辅。

  • 想同时出深度图做 3D 化?仓库附带 depth/ 单目深度模型,一条命令即可输出深度图:

    python scripts/depth.py photo.jpg --out depth_out

    效果示例(原图 → Iris-3B 深度图):

  • 出图太快不够"稳"?修复任务是单步的,速度已经很快;如果你想用它做文生图再配超分,可以参考 turbo/ 目录的 4 步蒸馏模型,其采样调度写在 turbo/distill.yaml,1024×1024 图像在 H100 上约 0.7 秒出图。

仓库文件速查表

路径说明
README.md完整文档:安装、参数表、基准测试
model.safetensors文生图主模型(EMA, float32)
config.yaml主模型架构与采样配置
upscaler/图像修复 + 4 倍超分模型(本教程主角)
depth/单目深度估计模型
turbo/4 步极速蒸馏版(含 turbo/distill.yaml 采样调度)

常见问题 FAQ

Q:修复一张照片大概要多久?A:单步前向 + 大图标块化 1024×1024 处理,消费级显卡上通常秒级到分钟级,取决于 GPU 显存和原图尺寸。

Q:为什么需要下载约 12 GB 的权重?A:upscaler/是完整 3B 参数的微调版(含空提示词嵌入文件),并非小型 adapter,所以体积较大。

Q:输出图片为什么是 4 倍而不是 2 倍或 8 倍?A:该超分权重就是按 4× 任务训练发布的(DIV2K 4× 协议),输出宽高固定为输入的 4 倍。

Q:Apache 2.0 协议意味着什么?A:项目以 Apache License 2.0 开源,个人和商业使用都很友好。


📌小结:Iris-3B 把"文生图模型"的像素空间先验直接复用到了老照片修复上——克隆仓库、按需下载 upscaler/ 权重、运行一条upscale.py命令,模糊退化的照片就能一步变成 4 倍高清。配合 depth/ 深度估计和 turbo/ 极速出图,这套像素空间视觉模型能覆盖的玩法远不止修复老照片。

  • 人工智能
  • 大模型
  • 基础模型
  • 媒体生成
  • 计算机视觉

【免费下载链接】iris-3b

项目地址:https://ai.gitcode.com/hf_mirrors/speridlabs/iris-3b
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进