ETCHR-FLUX.2-klein-9B与DiffSynth-Studio集成:打造专业级图像编辑工作流
ETCHR-FLUX.2-klein-9B是一款基于FLUX.2-klein-base-9B构建的新型问题条件化、推理感知图像编辑器,旨在作为多模态大型语言模型(MLLMs)的解耦视觉推理助手。通过将专业图像编辑器与下游理解模型分离,ETCHR有效解决了纯文本思维链在细粒度聚焦或复杂空间转换中存在的关键瓶颈。
🌟 为什么选择ETCHR-FLUX.2-klein-9B?
🔌 解耦即插即用架构
ETCHR作为独立模块运行,能够协助各种下游MLLMs(如Qwen3-VL-8B、Gemini-3.1-Flash-Lite或Kimi K2.5),无需对理解模型本身进行任何特定任务的微调。这种灵活性使其成为各类视觉推理任务的理想选择。
🔄 自然反射式工作流
引入了"编辑-验证-推理"(Edit-Verify-Reason)推理机制,理解模型会过滤掉噪声或有缺陷的编辑,当验证失败时安全地恢复到原始图像。这一创新流程显著提升了编辑结果的可靠性和准确性。
🚀 与DiffSynth-Studio无缝集成
ETCHR-FLUX.2-klein-9B的开发基于DiffSynth-Studio这一优秀的扩散模型训练代码库。这种深度集成为用户带来了以下优势:
简化的训练流程:借助DiffSynth-Studio成熟的训练框架,开发者可以更轻松地对ETCHR模型进行微调,以适应特定的图像编辑需求。
丰富的编辑功能:结合DiffSynth-Studio的多样化扩散模型工具集,ETCHR能够支持从细粒度感知到复杂3D空间理解的广泛编辑任务。
优化的性能表现:通过DiffSynth-Studio的高效实现,ETCHR在保持高质量编辑效果的同时,实现了更快的推理速度。
📊 显著提升的性能表现
在五大任务家族(细粒度感知、图表理解、逻辑推理、拼图恢复和3D理解)的评估中,ETCHR在所有评估的基础模型上均实现了Pass@1准确率的显著提升:
从图表中可以清晰看到,在Qwen3-VL-8B、Gemini-3.1-Flash-Lite和Kimi K2.5等主流模型上集成ETCHR后,平均性能提升分别达到5.47、5.55和4.61个百分点,充分证明了ETCHR在增强视觉推理能力方面的有效性。
🛠️ 快速开始指南
环境准备
git clone https://gitcode.com/InternLM/ETCHR-FLUX.2-klein-9B conda create -n ETCHR python==3.11 conda activate ETCHR cd RL/Pref-GRPO bash env_setup.sh fastvideo pip install "vllm>=0.11.0" pip install qwen-vl-utils==0.0.14启动评估
- 为理解模型启动VLLM服务器(例如Qwen3-VL-8B、Kimi K2.5等):
cd Evaluation bash launch_vllm.sh- 在任何理解模型上运行ETCHR:
python inference_dl3dv.py💡 应用案例展示
ETCHR能够协助完成广泛的理解任务,包括但不限于:
- 3D空间理解:精确识别和编辑3D场景中的元素关系
- 拼图恢复:智能识别并修复混乱的拼图图像
- 迷宫导航:分析迷宫结构并找出最优路径
- 图表推理:从复杂图表中提取关键数据和趋势
这些功能通过与DiffSynth-Studio的集成得到进一步增强,为专业图像编辑工作流提供了强大支持。
📄 许可信息
本项目基于FLUX.2-klein-base-9B构建,请遵循FLUX非商业许可协议。详细信息请参见项目根目录下的LICENSE文件。
🙏 致谢
特别感谢DiffSynth-Studio和Pref-GRPO项目提供的优秀代码库,为本项目的开发奠定了坚实基础。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考