ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

LoRA 训练数据集怎么准备才好用?Fizgig AI 标注、人脸裁剪与外观一致性过滤器 7 大技巧

LoRA 训练数据集怎么准备才好用?Fizgig AI 标注、人脸裁剪与外观一致性过滤器 7 大技巧

【免费下载链接】Fizgig

Fizgig — LoRA & Fine-tune Studio for Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, Anima & Z-Image Turbo and Ace-Step XL: train, fine-tune, profile, repair and extract LoRAs & LoKR for Image, Video & Music Models

项目地址:https://gitcode.com/gh_mirrors/fi/Fizgig
点击查看免费下载

数据集质量直接决定 LoRA 训练效果。Fizgig 是一款免费开源的 LoRA & Fine-tune 训练工作室,支持 Klein 9B、Krea 2、MiniMax H3、Qwen Image 2.1、Z-Image Turbo、SDXL 等图像/视频/音乐模型,内置AI 标注(AI Captioning)、人脸裁剪(Face Crops)、外观一致性过滤器(Look Consistency Filter)、Masked Training等一站式数据集准备工具。本文面向新手,分享 7 个让 LoRA 训练数据集更好用的技巧,帮你少走弯路。

快速上手:安装 Fizgig

先克隆仓库并安装(需要 NVIDIA RTX 30/40/50 系列显卡或 AMD ROCm,Python 3.10–3.13):

git clone https://gitcode.com/gh_mirrors/fi/Fizgig cd Fizgig

Windows 上双击install_fizgig.bat再运行Launch Fizgig.bat;Linux 上执行python install_fizgig.py后运行./launch_fizgig.sh。模型文件在 Preferences 页一键下载。完整要求见 docs/INSTALL.md。

技巧 1:从 Start 页选对训练文件夹

在Start页指定训练图片文件夹,这是整个流程的起点。注意两点:

  • 一文件夹一主题:一个 LoRA 只教一个主题(一个人物、一种风格或一套服装),混在一起训练效果会互相稀释。
  • 善用子文件夹:勾选 Training 页的Also train on its sub-folders,大数据集可以按服装、形态、来源分子文件夹整理,每个子文件夹使用各自的标注与缓存,互不干扰(详见 docs/TRAINING.md 的 Sub-folders 章节)。

💡 经验值:人物 LoRA 通常 20–60 张图就够用,关键是角度、光照、背景的多样性,而不是数量堆砌。

技巧 2:Image Prep 批量整理图片

进入Image Prep页,一次性完成数据集"卫生工作":

操作作用
批量缩放(Resize)统一分辨率,避免个别超大图拖慢训练
转换 PNG统一格式,训练更稳定
人脸特写(Face close-ups)自动检测人脸并生成裁剪图(见技巧 4)

官方文档 docs/TRAINING.md 特别指出:一张紧凑的人脸裁剪图 + 一张全身照搭配使用,能显著提升人物 LoRA 的表现。

技巧 3:AI 标注一键生成,告别手写 caption

手动给几十张图写标注非常痛苦。Fizgig 的Captions页用Qwen3-VL(或零配置的 Florence-2)自动写"视角感知"的训练标注,支持 5 种可编辑的预设风格:

  • Trigger word(触发词):每条标注开头绑定你的触发词,让模型学会"词 = 这个人/这个角色";
  • Style 风格:只描述画面中除主角外貌以外的一切,让触发词干净地绑定主角长相——做人物 LoRA 推荐;
  • Custom 自定义:用一句英文告诉模型该怎么写,比如只描述服装不描述脸。

几个加分选项:

  • Bilingual(中英双语标注):相当于文本级数据增强,官方测试显示在 Klein 上能改善皮肤细节;
  • Static Caption All:全部只用触发词,适合风格类 LoRA;
  • 标注列表支持搜索、分页、逐条编辑和Re-caption重新生成,改完直接 Save。

自动标注的源码入口在 src/fizgig/web/captions.py。

技巧 4:人脸裁剪,让主角在数据集中"突出"

Image Prep → Face close-ups会自动检测人脸并生成特写图:

  • 人物数据集:默认使用 InsightFace 检测器,支持Largest / Male / Female三种性别定向——多人合影里只裁剪你的主角;
  • 动漫 / Furry / 手绘角色:默认检测器基本找不到"画出来的脸",需在 Image Prep 页的Anime/furry/drawn characters区块把 Face finder 切换为 YOLO 模型(推荐 Fdetailer),Look match 切换为 DINOv2(详见 docs/FACE_BACKENDS.md);
  • 点Test face detection on one photo可以单张试检测,确认框画对了再全量运行。

人脸特写让模型在训练早期就"看清脸",是人物 LoRA 相似度(likeness)提升最快的免费技巧之一。

技巧 5:外观一致性过滤器,一键揪出"跑偏"图

数据集里混进几张"不像这个人"的图(代练脸、风格突变、错放的照片),LoRA 就会学歪。Look Consistency Filter(Image Prep 页最后一张卡片)可以自动帮你筛:

  1. 从文件夹里挑 3 张最能代表"这个长相"的图作为基线;
  2. 点扫描,每张图与基线比对打分(人物用 ArcFace,动漫/furry 用 DINOv2),最差匹配排在最前;
  3. 开启Auto-Suggest,系统按中位数 − 1.5×IQR 自动标出离群图;
  4. 一键将标记图移入excluded_by_look文件夹——不会删除任何文件,反悔随时捞回来。

更妙的是,扫描产生的分数会存为fizgig_look_scores.json,训练时的look-outlier warm-up会读取它:对"真实但不常见"的镜头(大侧脸、极端角度)先用低学习率热身,等形象稳住再全量训练(见 docs/KREA2.md)。

技巧 6:Masked Training,只教该教的部分

黑白蒙版放在图片旁边,白色部分重点训练、黑色部分少学甚至不学——LoRA 学的是人,而不是人背后的房间。官方测试表明蒙版能显著提升角色 LoRA 的最终相似度并加快收敛。

在Image Prep → Masks for masked training卡片里选择蒙版要覆盖的范围:

  • The person(头发到衣服):人物 LoRA,背景大幅降权;
  • Just the face and hair:只要脸,连服装都不学;
  • Just the clothes:服装 LoRA,人不学脸;
  • 还可以勾选Use SAM 3.1: masks from words,直接输入"person"、"the dog"、"red dress"等词生成任意蒙版,边缘比人体检测更锐利。

点Make masks全文件夹一键生成(CPU 上每张不到一秒),然后在 Training 页打开开关:

🎯 推荐值:How much outside the mask counts保持 0.1,保留少量背景上下文;也可以开启prior preservation让蒙版外区域维持模型原生画风。完整参数见 docs/MASKED_TRAINING.md。

技巧 7:开训前 3 分钟自检清单

按下 Start Training 之前,按这张清单过一遍,能省掉 90% 的返工:

  • 标注全部就位:没有 caption 的图,Start 会直接拒绝开训并点名文件夹;
  • 人脸检测已验证:至少用 Test 按钮试过 2–3 张,框都画在主角脸上;
  • 跑偏图已移出:Look Filter 扫描完成,离群图已移走;
  • 蒙版数量核对:Training 页会显示"Masks found for X of Y pictures",有蒙版需求时数字要匹配(Masked training 的源码见 src/fizgig/web/mask_edit.py);
  • Samples 页写预览提示词:给其中一条提示词加一个数据集里没有的姿态或场景(如"从低角度回头"),训练时它一旦失守,就是过训的信号——最后一个还能听它的 epoch 最值得保留。

然后按 Training 页模型对应的 ✨ 预设开训,训练中的相似度评分(likeness badges)会实时告诉你数据集"教得怎么样":

延伸阅读

文档内容
docs/TRAINING.md数据集准备、子文件夹、Subjects 多人训练全解
docs/MASKED_TRAINING.md蒙版制作(自动 / SAM 3.1 / 手画)与参数
docs/FACE_BACKENDS.mdInsightFace / YOLO / ArcFace / DINOv2 选型与阈值
docs/WEB_UI.md网页版界面、上传训练文件夹、手机监控

一句话总结:先用 Image Prep 整理与裁剪、再用 AI 标注批量写 caption、用外观一致性过滤器清洗离群图、最后叠上 Masked Training——按这 7 个步骤准备好的 LoRA 训练数据集,相似度更高、收敛更快、翻车更少。

【免费下载链接】Fizgig

Fizgig — LoRA & Fine-tune Studio for Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, Anima & Z-Image Turbo and Ace-Step XL: train, fine-tune, profile, repair and extract LoRAs & LoKR for Image, Video & Music Models

项目地址:https://gitcode.com/gh_mirrors/fi/Fizgig
点击查看免费下载

相关推荐

上一篇:当WSA落幕:WSABuilds如何重构Windows的Android应用生态
下一篇:MCP协议入门:Gen-AI-Experiments带你构建第一个Model Context Protocol服务器

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进