给 MOSS-Image-SFT 做 LoRA：20 张图定制个人风格

【免费下载链接】MOSS-Image-SFT项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Image-SFT

LoRA 是文生图领域把"个人风格"注入开源模型的默认解法：不动基座权重、单卡可训、随时可卸载。当底座换成 OpenMOSS 的开源文生图模型 MOSS-Image 时，这套打法依然成立，但有几个关键差异必须先讲清楚——它的主模型不是 UNet 而是 42 层 DiT，它的文本编码器是 Qwen3.5-9B，它的采样器是带shift=5的 Flow-matching Euler，而这些细节直接决定了 LoRA 该注入哪里、rank 开多大、训练完怎么挂回去。

本文基于 MOSS-Image-SFT 仓库源码与社区实战经验，完整走一遍"20 张图定制个人风格"的 LoRA 流程，并重点回答三个问题：数据怎么准备才算够用、参数与注入位置怎么定、风格化之后如何不把模型原有的中文文字与布局能力丢掉。

一、先认清底座：SFT 与 Base 同架构，LoRA 打法完全通用

做 LoRA 之前必须确认一件事：MOSS-Image-SFT 不是独立架构，而是MOSS-Image-Base的监督微调版本。README 明确写着"It uses the same architecture and inference pipeline"——同样的组件拼装、同样的推理管线、同样的采样参数。这意味着社区在 Base 上总结的所有 LoRA 经验，在 SFT 上可以直接复用。

整个模型由四大部分组成，关系定义在 model_index.json：

推理入口是自定义管线MOSSImagePipeline，定义在 pipeline_moss_image.py。采样默认 50 步、CFG 3.0、负分支跳过第 22 层（uncond_skip_layers=[22]），这些设置同样写进了 README 的 Sampling settings 表。

关键点在 transformer：主网络里每个 DiT 块_Block把全部线性层收进一个proj字典：

self.proj = nn.ModuleDict({ name: nn.Linear(dim, dim, bias=False) for name in ('q', 'k', 'v', 'o') }) self.proj['ffn_up_gate'] = nn.Linear(dim, 2 * ffn_dim, bias=False) self.proj['ffn_down'] = nn.Linear(ffn_dim, dim, bias=False)

这就是 LoRA 的天然注入点——六个线性层：注意力四投影q/k/v/o，以及 FFN 的ffn_up_gate/ffn_down。模型内部直接使用 PyTorch 原生的nn.Linear，因此 PEFT 的标准target_modules命名机制可以直接匹配，不需要额外改造。

另一个对训练者友好的设计是load_training_state_dict：

def load_training_state_dict(self, state_dict, *, prefix=''): """Load a consolidated raw/EMA model mapping, strictly; no silent key drops.""" if prefix: if any(not key.startswith(prefix) for key in state_dict): raise ValueError('All keys must start with the explicit prefix.') state_dict = {key[len(prefix):]: value for key, value in state_dict.items()} return self.load_state_dict(state_dict, strict=True)

它在加载训练权重时严格校验、不允许静默丢键，保证"训练态键名"与"推理态键名"零偏差。这意味着你训练出来的 LoRA 权重（或合并后的权重）可以直接用这套加载逻辑回挂到推理管线，键名对不上会在第一时间报错而不是悄悄出错。

二、LoRA 数据准备：20 张图的"够用"策略

风格 LoRA 的数据哲学和物体 LoRA 完全不同：物体 LoRA 需要多角度、多环境、多姿态；风格 LoRA 追求的是一致性，一致性靠的是"同一个触发词 + 同一套视觉母题"反复出现。

社区教程给出的建议区间是 20～200 张，20 张属于"最小可行量"，适合风格特征极其鲜明、且你愿意接受一定过拟合风险的情况。要让 20 张图真正够用，需要满足三个硬条件：

1. 分辨率统一，且满足模型约束。管线在__call__里硬性校验height % 16与width % 16（见 pipeline_moss_image.py），训练样本建议统一为 1024×1024 或 1024×1024 的 16 倍数规格，避免 LoRA 同时去学"分辨率迁移"这个本不该由它承担的任务。

2. 固定触发词，统一标注。每张图配 1～2 句描述，并以同一个触发词开头，例如my-style, ...。触发词是风格 LoRA 的"钥匙"：训练时它把风格锚定在文本侧，推理时只要在 prompt 里带上它就能激活 LoRA 学到的风格。20 张图的样本量下，触发词不一致是"风格学不进去"的第一大原因——模型根本不知道你在对齐什么。

3. 样本要有"母题"而非"元素"。20 张图如果内容五花八门，模型学到的是噪声；如果 20 张图围绕同一类场景/角色/画风母题展开（比如"暖光书桌""水彩风景""赛璐璐头像"），LoRA 才能在低 rank 下把风格分量压缩出来。社区经验里"风格迁移比加物体更容易收敛"正源于此：风格是全局的低秩特征，少量样本就能表达。

针对 MOSS-Image 的独有场景还要加一条：如果训练数据包含中文文字（海报、便签、手写体），务必在标注中用引号把文字内容单独圈出——README 的中文提示词规范就是画面描述 + "引号文字"的结构。这样 LoRA 学到的才是"文字的呈现方式"，而不是把文字本身当成图像纹理死记硬背。

三、训练参数与注入位置要点

注入位置：从注意力四投影起步

注入位置直接决定风格化与能力保留的权衡。社区与源码共同指向的默认方案是：

target_modules = ["q", "k", "v", "o"] # 起步只用注意力四投影 # 效果不够再加： target_modules += ["ffn_up_gate", "ffn_down"]

只动注意力投影，等于让 LoRA 干预"什么该被关注、怎么聚合信息"——这是风格最核心的载体；而 FFN 承载了大量"世界知识"与文字渲染逻辑，默认不动它能最大程度保住 MOSS-Image-SFT 的文字排版能力。如果只注入注意力仍学不进去，再逐步放开 FFN 两个线性层。

关键超参数

20 张图属于小数据集，建议从低端取值起步：r=16、学习率 1e-4、步数从 1500 左右开始逐批验证。核心判断标准只有一个——用训练集外的同类样本抽卡，看风格是否迁移、而非复读训练图。

训练与推理的采样设置必须对齐

MOSS-Image 的采样行为高度依赖调度器配置，LoRA 训练时使用的去噪设置应与推理一致：Flow-matching Euler、50 步、guidance_scale=3.0、shift=5。理由很实际：LoRA 学的是"在这个噪声分布与引导强度下的修正量"，如果训练用 CFG 1、推理用 CFG 3，风格强度会完全对不上；反之亦然。README 的 Sampling settings 表就是推理侧的权威基准：

四、风格化结果与基础能力的保留平衡

这是整个流程里最需要手感的部分。LoRA 的优势在于"改动小、可叠加、易回退"，但如果没有约束，风格化照样能把模型的文字与布局能力冲掉。实操上有三层防线：

第一层：用 Base 还是 SFT 当底座。README 的 Base vs. SFT 对比明确给出：SFT 版本在文字分组与白板布局上更清晰，Base 版本保留更"纯净"的通用能力。如果目标风格不涉及文字排版，从 Base 起步风险最低；如果希望"风格 + 中文文字"同时成立，直接用 SFT 作底座——它的文字先验更强，LoRA 只需叠风格，不必替模型补文字能力。

第二层：锁住注入范围。上文的"只调 q/k/v/o、不动 FFN"就是为保留文字/构图能力服务的。出现"文字变差、构图混乱"时，第一反应不是加大学习率，而是收缩注入范围与 rank。

第三层：用数据结构保住通用能力。训练集里不要 100% 是风格图——留 20% 左右的无触发词通用样本（或直接用基座预训练分布的正则样本），能显著缓解灾难性遗忘。这在 20 张图的小数据下尤其重要，因为过拟合和灾难性遗忘在小样本下往往同时出现。

社区调参经验里最常见的两个症状及对策如下：

此外，MOSS-Image 的 JSON Layout 能力与 LoRA 是正交的：Layout 走的是"结构化几何控制"（summary.caption+items+ bbox），LoRA 走的是"低秩权重修正"，两者叠加即为"风格 + 排版"双定制。训练 LoRA 后，在 prompt 里同时给出 JSON 布局，风格会保留在结构化生成之上——这是它相对传统 UNet 系模型的额外红利。

五、推理集成：把 LoRA 挂回管线

训练完成后，加载 LoRA（或合并后权重）并推理的标准流程与 README 的 Quick start 完全一致：

import torch from diffusers import DiffusionPipeline pipe = DiffusionPipeline.from_pretrained( "OpenMOSS-Team/MOSS-Image-SFT", custom_pipeline="pipeline_moss_image", trust_remote_code=True, torch_dtype={"default": torch.bfloat16, "vae": torch.float32}, ) pipe.scheduler = type(pipe.scheduler).from_config(pipe.scheduler.config) pipe.to("cuda") image = pipe( "my-style, a cozy study desk with warm light", height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=[22], generator=torch.Generator("cpu").manual_seed(42), ).images[0] image.save("my_style_output.png")

几个容易踩的细节：

• 精度分工别改：Transformer 与文本编码器用 bfloat16、VAE 与初始噪声用 float32，这是 README 与源码共同固定的默认分工（源码中噪声直接在 fp32 采样、VAE 解码默认 fp32），LoRA 推理沿用即可。
• 尺寸必须为 16 的整数倍，否则__call__直接抛ValueError。
• uncond_skip_layers默认跳过第 22 层（负分支），这是省算力的引导设置；想彻底关闭传空列表[]。训练对齐时保持与训练设置一致。
• 若在本地已有完整模型目录，直接把目录传给from_pretrained；LoRA 权重建议用 PEFT 的标准save_pretrained/load_pretrained保存与挂载，再以load_training_state_dict做严格校验。

小结

给 MOSS-Image-SFT 做 LoRA 定制风格，核心路径只有四步：备数据（20 张统一触发词）→ 注入注意力线性层（q/k/v/o）→ 低 rank 慢训练（r=16、1e-4、1500 步起步）→ 推理时对齐采样设置挂回管线。由于 SFT 与 Base 同架构同管线，社区在 Base 上沉淀的全部参数经验都可以直接迁移；而 SFT 更强的文字先验，恰好让"风格 + 中文排版"的双重定制成为可能。用 20 张图起步，一个晚上就能看到属于你自己的画风从模型里浮现出来。

【免费下载链接】MOSS-Image-SFT项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Image-SFT