AI 漫剧制作越来越像一条完整的工业化生产线：剧本、分镜、角色定妆、图片生成、视频生成、配音、剪辑、字幕，每个环节都有对应的 AI 工具。最难的不是某一个单点功能，而是如何把这条链路串起来，并让同一个角色在不同画面里保持长相一致。这套广受关注的“99集 AI 漫剧零基础教程”，主线就是从剧本开始一路做到成片，顺便把人物一致性这个大坑一次填平。这篇文章就把这条技术路线拆开讲一遍，包括每个环节需要准备的软件、关键参数、工作流设计、批量出图思路，以及最容易翻车的几个地方。
如果你正准备入局 AI 漫剧，或者已经在做但经常遇到角色崩脸、镜头不连贯、配音对不上口型之类的问题，这篇文章可以直接收藏。
1. AI 漫剧制作全流程核心能力速览
| 能力项 | 说明 |
|---|---|
| 制作链路 | 剧本 -> 分镜 -> 角色设计 -> 图生图/文生图 -> 视频生成 -> 配音 -> 剪辑 -> 成片 |
| 核心难点 | 人物一致性、分镜连贯性、口型匹配、批量出图效率 |
| 主要工具方向 | Stable Diffusion / ComfyUI / Midjourney、Runway / Pika / 可灵 / 即梦、剪映、FFmpeg |
| 硬件需求 | 本地绘图建议 8G 以上显存；纯云端工作流对显卡要求低 |
| 发布格式 | 小红书/抖音/B 站竖屏 9:16 短视频，或横屏 16:9 中长视频 |
| 学习重点 | 提示词写作、LoRA 角色训练、ComfyUI 工作流搭建、批量任务管理 |
这套教程的价值不在于某一个软件怎么点，而在于把“一个人能不能完成一部短剧”这个问题完整回答了一遍。每个环节都有对应的免费或低成本工具，难点集中在角色一致性和批量效率上面。
2. 适用场景与使用边界
AI 漫剧适合这几类人：
- 个人创作者：想独立完成短剧、漫剧、科普动画，不想组团队。
- 自媒体运营：需要稳定产出竖屏剧情内容，用 AI 批量生成画面。
- 有声书/小说推广：把小说章节转成可视化漫剧，吸引用户看完整部作品。
- 广告与品牌内容：用漫剧形式做产品故事，比真人拍摄成本低很多。
- 技术学习者：想系统掌握 Stable Diffusion、ComfyUI、视频生成、语音合成这套组合技术。
不适合的场景：
- 需要超高精细商业级动画的场景，AI 漫剧目前更适合快速内容和短视频。
- 需要完全原创不撞脸的角色设计，要配合模型训练和大量微调。
- 涉及真实人物肖像、明星脸、真人照片转漫剧时，必须取得授权，不能直接拿路人照片或网上人物图做素材。
- 涉及版权小说、剧本、音乐、音效时，要确认是否有改编和商用授权。
AI 漫画行业的合规底线：图片素材、声音素材、角色设定、背景音乐都可能有版权归属。个人练习没问题，一旦公开传播或者商用，素材授权必须闭环。
3. 环境准备与前置条件
先分清楚你要走哪条路线：纯云端出图出视频，还是本地跑 Stable Diffusion / ComfyUI。
如果走本地路线，建议配置如下：
| 配置项 | 建议 |
|---|---|
| 操作系统 | Windows 10/11、Ubuntu 20.04+ |
| 显卡 | NVIDIA 显卡优先，8G 显存起步，12G 以上更顺手 |
| 内存 | 16G 起步，32G 更稳 |
| 磁盘 | 模型文件较大，建议预留 50G 以上空间 |
| Python | 3.10 或 3.11 |
| CUDA | 根据显卡驱动安装匹配版本 |
不一定每台机器都跑得动本地绘图。如果显卡只有 4G，或者根本没有独立显卡，建议直接使用云端在线出图工具，或者租云显卡。本教程主线也适合云端工作流，因为视频生成本质上大部分是云端服务。
软件层面先装这几样：
- ComfyUI 或 Stable Diffusion WebUI：负责角色定妆图和关键帧图片生成。
- FFmpeg：负责视频拆帧、合并、格式转换。
- 剪映：负责剪辑、字幕、配音对齐。
- TTS 工具：负责角色配音。开源可选 GPT-SoVITS 等，商用工具可选各类在线 TTS。
注意：安装依赖时最容易出问题的是 PyTorch 和 CUDA 版本不匹配。建议单独建虚拟环境，不要和系统 Python 混在一起。
# 创建 ComfyUI 虚拟环境示例 python -m venv comfy_env source comfy_env/bin/activate # Windows 下执行 comfy_envScriptsactivate pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121显存占用这事不能凭空给死数字。以常见本地绘图模型为例，8G 显存跑 512x768 或 768x768 的图比较稳；跑到 1024x1024 或 1024x1536 就要看模型和优化选项。选模型时优先用 SD 1.5 系列带轻量 LoRA 的方案，或者 SDXL 系列并配合显存优化插件。
4. 安装部署与启动方式
4.1 ComfyUI 一键包部署
ComfyUI 的启动方式可以走整合包。下载官方便携包或社区整合包后解压，Windows 下直接运行run_nvidia_gpu.bat。
# Windows 下启动 ComfyUI（便携包） run_nvidia_gpu.bat启动成功后在浏览器打开http://127.0.0.1:8188，能看到节点式工作流界面。ComfyUI 的优势正好契合漫剧场景：同一个工作流可以批量换提示词、批量保存图片、串联图片生成和视频生成节点。
4.2 Stable Diffusion WebUI 部署
WebUI 更适合新手做单图调试。Windows 下使用整合包，或者手动克隆项目：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui ./webui.sh启动后访问http://127.0.0.1:7860。WebUI 的优势是插件多、操作直观，适合先理解提示词和参数，再切到 ComfyUI 做批量流水线。
4.3 在线工具作为兜底
如果本机跑不动，或者想快速验证剧情效果，可以直接使用在线的图生图、文生图、图生视频工具，流程仍然是“脚本 -> 画面 -> 动态视频 -> 配音剪辑”。云端工具的门槛低，缺点是人多时排队、单次生成时长受限、长镜头一致性难控制。
4.4 模型文件怎么放
本地安装后，模型文件通常放在这些位置：
| 文件类型 | 放置目录 |
|---|---|
| 大模型 .safetensors | models/checkpoints 或 models/diffusers |
| LoRA 模型 | models/Lora |
| ControlNet 模型 | models/controlnet |
| IP-Adapter 模型 | models/ipadapter |
如果跑图时报“model not found”或者“checkpoint not found”，基本都是模型文件放错了目录，或者文件名不匹配。模型下载后不要随意改名，很多工作流的节点是根据模型文件名引用的。
5. 剧本与分镜：让 AI 看懂你要拍什么
AI 漫剧的起点不是画面，是剧本。剧本在写作时就要考虑可执行性：画面能不能被文字描述出来、台词是否适合 TTS、场景是否能在 5 秒钟内被 AI 理解。不要写“他陷入沉思”这种太抽象的描述，AI 会给你一张完全失控的图。应该写成“一个年轻男人坐在窗边，低头看手机，屏幕光照在脸上，表情沉重，室内暗调”。
分镜表是剧本和画面之间的翻译层。建议在表格里维护这几列：
| 分镜编号 | 场景描述 | 景别 | 提示词关键词 | 角色 | 动作 | 台词 | 时长 |
|---|---|---|---|---|---|---|---|
| 01 | 城市夜景，主角站在天台上 | 全景 | night city, rooftop, neon | 男主 | 双手插兜，看远方 | 今天开始，我不再等了。 | 5s |
| 02 | 主角脸部特写 | 特写 | extreme close-up, face | 男主 | 眼神坚定 | 我回来了。 | 4s |
每一条分镜都能直接变成一组文生图或图生图提示词。注意分镜之间要保持角色描述一致，比如“男主是黑色短发，穿红色夹克，20岁左右”，这个描述会在后面的人物一致性环节重复使用。
实际做的时候，可以用 AI 辅助工具帮忙生成剧本和分镜草稿，但最终画面提示词要自己整理。AI 出的分镜句子普遍太长、太文艺，直接丢给绘图模型容易画面信息超载，建议把分镜精简成“主体 + 环境 + 镜头 + 气氛 + 风格”五要素。
6. 人物一致性：整个 AI 漫剧最关键的一环
AI 漫剧翻车最多的地方就是人物时不时换脸。同一集里男主第一秒还是黑发，第三秒变成棕色头发，第五秒脸上多了道疤。想要解决这个问题，必须从三个层面同时下手。
6.1 第一层：固定角色描述模板
每张角色图、每个视频画面，都保持同一段角色描述。不要每次重新写一遍，直接在提示词里粘贴固定的角色特征字符串。
示例固定角色描述模板：
male protagonist, young man, 22 years old, short black hair, red jacket, sharp eyes, determined expression, studio portrait style这段文字要全局唯一，不要在这个基础上面再加“black hair turns white”之类的改动。改动作和场景，不改五官描述。
6.2 第二层：LoRA 角色训练
光靠文字描述很难稳定角色。更好的方式是训练一个角色 LoRA。
角色 LoRA 的数据准备：
- 收集角色正面、侧面、四分之三侧面的图片 20 到 40 张。
- 图片不能都是同一张表情、同一个动作，否则模型只会复制这一张图。
- 把图片裁剪到统一分辨率，常见做法是 1024x1024 或 1024x1536。
- 提示词里统一写角色名，再加通用质量词。
训练工具可以用 kohya-ss 或 sd-scripts。新手可以先在网上找一键训练包，但要注意数据标注质量远比训练步数重要。几百张图喂进去但标注垃圾，出来的 LoRA 就是一张模糊复制品。
训练完成后，LoRA 文件放到模型的 Lora 目录。在 ComfyUI 中用 LoraLoader 节点加载，权重一般从 0.6 到 0.9 开始试。权重太低角色不像，太高则过拟合，角色会僵硬且动作不自然。
6.3 第三层：ControlNet 与参考图控制
角色一致性不只靠 LoRA，还需要参考图结构控制。
常见方案：
- IL 或 IP-Adapter：用一张角色参考图引导生成，适合保持五官和风格。
- ControlNet Canny / Lineart：提取优先分镜草图的线稿，强制画面构图。
- OpenPose：锁定角色姿态和动作，避免每帧动作跳变。
推荐的 ComfyUI 组合节点流：
加载角色大模型 -> 加载角色 LoRA -> 输入角色参考图 -> IP-Adapter 节点 -> Prompt 输入场景描述 -> ControlNet 输入分镜线稿 -> KSampler -> VAE Decode -> 保存图片实际操作时要注意：ControlNet 权重一般控制在 0.4 到 0.8，太大画面会被线稿框死，太小又控制不住构图。IP-Adapter 权重和 ControlNet 权重需要反复调试，没有一组万能数值。
6.4 批量出图时的一致性策略
分镜通常有几十个甚至上百个画面，不可能每个画面都手动调一遍。做法是：
- 固定一组工作流，只切换场景提示词。
- 每镜生成 4 到 6 张候选图，人工挑一张最符合角色和构图的。
- 同一镜头内的特写、近景、中景尽量用同一张定妆图作为参考。
- 素材文件名要按“第几集_第几分镜_第几镜”规律命名，方便后面剪辑时对齐。
批量出图的本质是模板化，不是每次重新创作。把工作流固定下来，再批量替换文本，效率就能上来。
7. 从图片到视频：图生视频生成
图片生成完毕，进入视频生成阶段。AI 漫剧不需要太长的单段视频，主要是让静态画面“动起来”。一个 5 秒镜头生成 5 到 10 秒视频，已经能覆盖大多数短剧节奏。
这个环节市面上工具很多，常见思路：
- 输入一张角色定妆图或分镜参考图，生成 5 到 10 秒动态片段。
- 输入首帧图和尾帧图，让模型自动补中间过渡，适合做镜头推拉和人物转身。
- 把接近的两个分镜画面作为首尾帧，生成平滑转场。
使用这类工具时，建议每个镜头独立生成视频，不要试图一次生成整集。一次生成时长越长，人物崩坏和画面畸变概率越大。
视频生成后要做拆帧检查：
# 检查视频信息 ffprobe input.mp4 # 拆帧示例 ffmpeg -i input.mp4 -vf fps=24 frame_%04d.png拆帧后抽样看关键帧，重点检查：人物脸型是否稳定、衣服颜色是否漂移、手部是否变形。只要关键帧里有一张崩脸，这个镜头就别用，重新生成或局部重绘。
局部修复可以考虑用 ComfyUI 的重绘节点对崩脸帧单独修，然后把修好的帧重新合成视频。但对于新手，更推荐直接重新生成整个镜头，因为逐帧修复的时间成本往往更高。
8. 配音与剪辑：把视觉素材变成完整成片
8.1 配音方案
AI 漫剧里角色多，台词风格差异大。可以选择不同音色的 TTS 引擎，也可以训练角色专属音色。
基本流程：
- 整理台词文本，按角色分开。
- 为每个角色挑选或训练一种音色。
- 批量生成各角色的台词音频。
- 按分镜顺序检查音频情绪和节奏。
需要注意多音字和人名读音。TTS 很容易把“倔强”读成“jué强”，把主角名字读错。建议在台词文本中加注拼音或拆字处理。
如果是训练声音模型，数据准备比参数更重要：
- 收集目标音色语音 1 到 5 分钟，越干净越好。
- 避免背景音乐、混响、多个说话人。
- 音频采样率、格式要统一，常见用 16kHz 或 24kHz WAV。
- 训练素材中涉及真人声音时，必须获得本人明确授权，不能拿明星访谈、直播切片、他人语音直接训练商用。
8.2 自动生成字幕
字幕可以直接用剪映的自动识别字幕功能，也可以先用 ASR 工具生成 SRT 文件，再导入剪辑软件。镜头语速快或者台词密集时，字幕行数和时长要控制，一屏不超过两行。
8.3 剪辑流程
剪辑阶段建议保持这样的顺序：
- 先按分镜顺序铺视频轨。
- 再把每个镜头的配音放上去。
- 用配音时长反推画面是否需要延长或裁剪。
- 加背景音乐、音效。
- 最后加字幕、标题、转场。
背景音乐要注意版权。个人练习无所谓，公开传播前尽量用免费音乐库或原创配乐。
8.4 导出参数
短视频平台建议导出：
- 竖屏：1080x1920，不低于 30fps。
- 横屏：1920x1080，30fps 或 60fps。
- 编码：H.264。
- 码率：8Mbps 以上，避免画面糊。
如果成片时长超过 1 分钟，注意文件大小和上传压缩。平台压缩后清晰度会明显下降，导出时不要故意拉高码率，按平台建议来。
9. 接口 API 与批量任务设计
AI 漫剧到后期就是批量生产。角色图要批量出，台词音频要批量生成，剪辑素材要批量整理。如果只靠鼠标点，一部 20 集漫剧能把你累垮。所以 API 接入和批量任务要提前规划。
9.1 批量出图自动化思路
用 ComfyUI 做批量出图，通常有三种方式。
第一种：ComfyUI 自带队列，把多张参考图放入同一批次，设置 batch size。
第二种：用 Python 脚本批量构造 API 请求，替换 prompt、seed、模型名。
ComfyUI 本身会把工作流暴露成 API 接口格式。你可以把工作流保存为 JSON，然后用 Python 修改里面的参数：
import json workflow_path = "workflow_api.json" with open(workflow_path, "r", encoding="utf-8") as f: workflow = json.load(f) # 修改提示词节点 for node_id, node_data in workflow.items(): if node_data.get("class_type") == "CLIPTextEncode": node_data["inputs"]["text"] = "new prompt here" with open("workflow_batch_01.json", "w", encoding="utf-8") as f: json.dump(workflow, f, ensure_ascii=False, indent=2)第三种：用 ComfyUI 的 HTTP API 直接提交任务。
import requests import json url = "http://127.0.0.1:8188/prompt" with open("workflow_api.json", "r", encoding="utf-8") as f: workflow = json.load(f) payload = {"prompt": workflow} resp = requests.post(url, json=payload, timeout=30) print(resp.json())注意实际字段需要按当前安装版本的 ComfyUI 调整。不同版本节点 id 和字段名可能不一样。
9.2 批量任务的最佳实践
建议在项目目录下建一套固定结构：
project ├── scripts │ ├── scene_list.csv │ └── batch_script.py ├── assets │ ├── characters │ ├── scenes │ ├── audio │ └── video ├── outputs │ ├── images │ ├── clips │ └── final └── workflow ├── character_workflow.json └── video_workflow.json每个角色、每个场景都放进独立文件夹。文件名规则统一为ep01_scene03_shot02_v1.png。
批量任务容易出问题的点是中断恢复。建议不要一次提交 100 个任务后不管，而是：
- 每个批次只跑 10 到 20 张。
- 跑完自动把成功文件移动到 outputs，把失败任务写到 log。
- 失败任务重试时不要全部重跑，只重跑失败项。
- 任务脚本加超时和重试机制。
import time def run_with_retry(func, retries=3, timeout=120): for attempt in range(retries): try: return func(timeout=timeout) except Exception as e: print(f"attempt {attempt + 1} failed: {e}") time.sleep(3) raise RuntimeError("task failed after retries")这个逻辑对调用各类生成类 API 同样适用。
9.3 音频批量生成流程
音频批量生成时最怕“批量成功但听感不对”。建议先生成一版角色样音，让全组人都确认音色和语速，再批量生成台词。批量生成过程中按角色分目录保存，每个文件命名带上集数和分镜号。
如果使用自建的语音服务，可以维护一个简单的任务队列，文本文件一行对应一个任务：
ep01_scene01_001|男主|今天开始，我不再等了。 ep01_scene01_002|女主|你疯了吗？外面全是他们的人。 ep01_scene01_003|路人A|站住！写一个循环读取逐行调用，音频文件直接按第一列命名输出。用这种方式一天生成几百条台词不成问题。
10. 资源占用与性能观察
AI 漫剧生产链路里，最吃资源的是本地绘图和本地视频生成，最轻的是剧本、分镜、剪辑环节。
显存观察方法：
- Windows 任务管理器 -> 性能 -> GPU 的“专用 GPU 内存”。
- 更准一点用
nvidia-smi命令行实时查看。
nvidia-smi使用绘图工具时重点看“显存使用量”和“图形利用率”。显存不等于 VRAM 总容量，很多时候 8G 卡跑不动 1024 的大图，不是显存不够，是模型本身占用太大。可以加--medvram或--lowvram参数降低占用。
ComfyUI 启动时也可以加参数限制：
python main.py --lowvram低显存用户优先策略：
- 用 SD 1.5 系列模型，别强上 SDXL，画质差距没有想象中那么大，但显存压力差很多。
- 出图分辨率控制在 768 以下，后期放大另说。
- 减少格子太重采样器的步数，比如从 30 步降到 20 步。
- 关闭视频生成的实时预览或降低预览分辨率。
- 批量任务不要同时跑太多，卡死时优先看是不是显存爆了。
视频生成大部分是云端服务，本机资源占用反而不高，主要消耗的是账号时长和排队时间。如果本地跑视频生成，建议只生成 5 秒以内片段，不然显存和内存很容易双爆。
11. 常见问题与排查方法
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
| 启动后页面打不开 | 端口被占用、服务未启动 | 查终端日志，netstat -ano查看端口 | 换端口或重启服务 |
| 显存不足报错 | 分辨率/模型过大 | 看 nvidia-smi 显存占用 | 降分辨率、换小模型、加 lowvram |
| 下载很多依赖但还是缺包 | Python 环境不一致 | pip list检查是否在虚拟环境 | 重建虚拟环境，用整合包 |
| 图像里人物五官扭曲 | 提示词冲突、步数太少 | 把每个提示词单独拆开试 | 提高采样步数，减少叠加概念 |
| 同一个镜头人物表情漂移 | 角色描述不一致 | 对比固定角色模板 | 统一用同一段角色描述 |
| 换脸还是崩脸 | LoRA 权重不合适 | 调 LoRA 权重从 0.5 到 0.9 | 配合 IP-Adapter 参考图 |
| 视频生成出来的手部变形 | 生成时长过长、分辨率低 | 拆帧看关键帧 | 缩短视频时长，增加首帧控制 |
| TTS 读错人名/多音字 | 文本预处理不足 | 听样音定位错误词 | 加拼音注释、拆词 |
| 批量任务跑到一半停止 | 网络超时或显存爆 | 查看日志和进程 | 减小批次、加重试机制 |
| 视频画面模糊、有抖动 | 压缩参数和帧率不对 | 导出前看预览 | 提高导出码率，固定帧率 |
| 面部修复后与其他帧不一致 | 重绘没有用同一参考图 | 对比修复前后角色特征 | 修复时加入角色 LoRA 或参考图 |
12. AI 漫剧制作的最佳实践
12.1 第一次做先跑通 1 分钟短片
不要一上来就做 20 集连载。先用 3 到 5 个镜头做一条 1 分钟以内的短片，验证整条链路：剧本 -> 分镜 -> 角色图 -> 动态化 -> 配音 -> 剪辑。这条短片跑通之后，再扩展成多集。第一次就跑完整链路，能提前暴露出工具不兼容、文件格式混乱、角色不一致等各种问题。
12.2 建立一个可复用的“角色资产库”
角色定妆照、角色 LoRA、角色参考图、角色语音样本，全部按角色名归档。每一集都从这个资产库里取素材，不重新生成。这样既保证一致性，也大幅减少重复劳动。
12.3 工作流模板化
把 ComfyUI 的节点流保存成多个 JSON 模板：
- 角色定妆模板。
- 分镜图生成模板。
- 局部重绘模板。
- 图生视频前处理模板。
下次批量出图时直接换提示词、换参考图、换输出路径，不要每次从空白画布重新搭节点。
12.4 内容纪律和合规审核
涉及真人照片转漫剧，所有训练、传播、商用都先确认肖像授权。涉及小说改编，先确认改编权。涉及声音克隆，必须本人授权。字幕、台词、配图里有明显不实或冒犯内容的内容不要发布。公开传播平台都有审核机制，素材合规性不过关，做再多内容也会被下架。
12.5 发布节奏和复盘
AI 漫剧一旦流水线跑通，产出速度很快，但内容质量要由人工把控。建议每集发布前做一次三查：
- 查画面：抽出 10 到 20 个关键帧，检查角色统一度。
- 查音频：完整听一遍配音，检查节奏、错字、背景噪音。
- 查剪辑：检查转场是否卡壳、字幕是否覆盖关键画面。
每集发布后记录用户反馈，把点赞高、互动高的镜头类型记录下来，反馈到提示词库和分镜库中。
13. 总结与下一步
这套 AI 漫剧教程的核心价值在于把一条原本分散在各平台的技能链路整合成了可执行的方法论。你不需要先成为画家、编剧、配音演员、剪辑师，再用半年时间学习工具。只要按“剧本 -> 分镜 -> 角色一致性 -> 图片生成 -> 视频生成 -> 配音 -> 剪辑”的顺序逐步跑通，就能靠一个人加上一台电脑完成一整部 AI 漫剧。
下一步建议按这个顺序走：
- 第一步，先用现成的在线工具从一张角色图生成一段 5 秒视频，感受动态化效果。
- 第二步，安装 ComfyUI 或 WebUI，跑通一张图的分镜生成。
- 第三步，训练一个角色 LoRA，确认角色一致性。
- 第四步，完成一条 1 分钟短片，把配音和剪辑串起来。
- 第五步，再尝试批量出图和批量配音，把生产效率提上来。
最容易踩的坑就三个：角色崩脸、镜头不连贯、配音和画面节奏错位。先把这三个问题解决掉，AI 漫剧这条生产线基本就稳了。后面再逐步加入首尾帧控制、自动补帧、批量 API 任务，甚至搭建自己的远程生成服务，都是顺理成章的事。
