• 人工智能
• 大模型
• 基础模型
• 本地部署
• 模型量化
• 媒体生成

FLUX 3 Image Klein Base GGUF 是 Black Forest Labs 开源图像模型 FLUX 3 Image Klein 的5.6B 未蒸馏基础检查点，由 Unsloth 用 Dynamic 2.0 方法量化成多个 GGUF 文件。它跑 50 步采样（CFG 3.5），专为微调、LoRA 训练和研究设计；而蒸馏版 Klein 只跑 16 步，专为日常生成与图像编辑设计。这篇文章讲清楚两者的区别、各量化文件的取舍，帮你一次选对。

两个检查点，定位完全不同

FLUX 3 Image Klein 系列用同一个 5.6B 图像 Transformer + Qwen3-VL-4B-Instruct 文本编码器，但发布了两个检查点，用途泾渭分明：

💡 一句话理解"蒸馏"：蒸馏版通过步数蒸馏把 50 步的采样过程压缩到 16 步，速度约快 3 倍，适合高频出图；未蒸馏的 Base 版保留完整的学习信号，梯度更稳定，适合作为训练的起点。

50 步 vs 16 步，到底影响什么？

• 步数：Base 版 50 步出图更精细，但每次生成耗时更长；蒸馏版 16 步即可收敛，推理成本低很多。
• CFG（Classifier-Free Guidance）：Base 版使用 CFG 3.5 控制提示词贴合度，训练时可以调节这个参数；蒸馏版关闭了 CFG，推理管线更简单。
• 训练兼容性：官方明确建议在 Base 检查点上做微调，因为它未经步数/引导蒸馏；蒸馏版面向生成场景，不适合作为微调起点。

📌 结论先行：你要训练 LoRA / 微调风格 → 选 Base 50 步；你只是日常出图、改图 → 选蒸馏版 16 步。

本仓库的 GGUF 量化文件怎么选

本仓库把 Base 版 Transformer 量化成 10 个 GGUF 文件（文本编码器和 VAE 不变，需搭配原版组件使用）。官方用 LPIPS（越低越好）和 SSIM 相对 bf16 原始精度做了 19 组同 prompt、同 seed 的实测：

⭐官方推荐：

• 大多数显卡→UD-Q4_K_XL（3.93 GB）：同体积下精度全面优于Q4_K_M（LPIPS 0.057 vs 0.077）
• 显存稍宽裕、追求高保真→UD-Q5_K_XL（4.48 GB）：比Q6_K更贴近 bf16
• 小显存卡（8 GB 级）→UD-Q2_K_XL（2.62 GB）
• 科研级、要求最接近 bf16→Q8_0（6.07 GB）

带UD-前缀的文件采用 Unsloth Dynamic 2.0 混合精度量化：每一层的量化类型都来自实测敏感度扫描，因此同体积下精度更高。

快速上手：加载与推理路径

• diffusers 加载：用Flux3Transformer2DModel.from_single_file(...)配合GGUFQuantizationConfig即可加载任意 GGUF 文件；文本编码器（Qwen3-VL-4B-Instruct）与 VAE 保持原版不变，从官方 base 仓库获取即可。
• Unsloth Desktop：本仓库文件同样支持在 Unsloth Desktop 中直接加载，适合不想写代码的用户。
• 提示词扩展是硬要求⚠️：FLUX 3 Image Klein 吃的是完整场景描述（构图、主体、背景、光照），直接丢一句短 prompt 只会得到泛泛的结果。官方提供 prompt upsampler（flux-3-image-klein-pup），或用任意 LLM 配合官方 system prompt 把短请求扩写成完整 caption。
• 画框布局：在 caption 后追加 JSON 列表即可用[top, left, bottom, right]（0–1000 网格）框定位元素，实现重着色、移动、替换、删除——框控制位置与比例，不是硬遮罩。

显存与许可：两个容易踩的坑

1. 显存预算：官方参考数据（B200、1024×1024、未开 prompt upsampler）：BF16 峰值 31 GB、FP8 29 GB、NVFP4 26 GB；prompt upsampler 额外约 28 GB。GGUF 文件本身可让模型装入更小的显存，但文件体积不等于总显存占用，还需加上 KV、中间激活与文本编码器。
2. 许可证：本模型遵循 FLUX Kommunity License——非商用免费；年总收入低于 500 万美元的"Qualifying Users"可商用出图。商用微调与分发不在免费范围内，详见 NOTICE.md 与许可证全文。

一句话总结

两者共享同一个文本编码器与 VAE，切换成本不高。先在蒸馏版上把提示词流程跑顺，需要个性化风格时再切到 Base 版 GGUF 开始训练，是最省时间的路线 🚀

• 人工智能
• 大模型
• 基础模型
• 本地部署
• 模型量化
• 媒体生成