1. 十几张参考图喂进去，跨镜头还是换了张脸

做AI视频的人大概都经历过这个场景：你精心挑了十几张同一角色的参考图，正面、侧面、半身、特写、不同光照、不同表情，一股脑全喂给模型，满心期待它能在不同镜头里稳定输出同一个角色。结果第一个镜头出来，嗯，还行，挺像的。切到第二个镜头，角度稍微一变，脸就开始飘了。第三个镜头直接给你换了个演员，五官轮廓全变了，气质也完全不对。

这不是你一个人的问题。角色一致性，是当前AI视频生成领域公认最难啃的骨头之一。不管是做短剧、做广告、做虚拟主播，还是单纯想搞个有连贯叙事的AI短片，只要涉及多镜头切换，角色"变脸"几乎是绕不过去的坎。

我在这块折腾了相当长一段时间，从最早的逐帧生成到后来的视频扩散模型，从本地部署到线上平台，踩过的坑可以说能写一本小册子。今天这篇文章，我想把角色一致性为什么这么难、难在哪里、目前有哪些可行的缓解思路，以及我在实操中总结出来的一些经验，系统地聊一聊。不管你是刚入门的新手，还是已经做过几个项目的老手，应该都能从中找到一些有用的东西。

2. 角色一致性到底难在哪：从"画得像"到"长得稳"的鸿沟

2.1 单帧生成和多帧生成，根本是两回事

很多人一开始会有一个直觉性的误解：既然AI画单张图的时候，给了参考图就能画得很像，那视频无非就是多画几帧，应该也能保持住吧？

这个想法听起来合理，但实际上忽略了一个关键差异。单帧图像生成，模型只需要在一个静态的二维空间里，把参考图的特征映射到目标图像上。它关注的是"这一张图里，角色的五官、发型、肤色、服装对不对"。而视频生成，模型需要在时间维度上保持连贯性，它不仅要考虑"这一帧像不像"，还要考虑"这一帧和上一帧之间的过渡是否自然"。

问题就出在这里。当你给模型十几张参考图时，这些图本身可能就存在差异——不同的角度、不同的光照、不同的表情，甚至不同的画风。模型在提取角色特征时，会把这些差异也当作角色的一部分来学习。到了生成阶段，不同镜头对应不同的姿态、不同的构图、不同的背景，模型在"参考图特征"和"当前镜头需求"之间做权衡时，就会产生偏移。

打个比方，这就像你让一个画师看着十几张同一个人在不同条件下的照片，然后让他画这个人在一个全新场景里的样子。画师可能会困惑：到底哪张照片才是"标准答案"？如果参考图之间的差异太大，他画出来的东西就会在多个"版本"之间摇摆。

2.2 参考图不是越多越好，信息过载反而添乱

很多人觉得，既然一张参考图不够，那我就给十几张，总够了吧？实测下来，这个思路在图像生成里可能还行，但在视频生成里，往往会适得其反。

原因在于，视频模型对参考图的处理方式和图像模型不一样。图像模型通常有一个明确的"参考图编码"步骤，把参考图的特征压缩成一个或一组向量，然后在生成时注入。而视频模型，尤其是基于扩散架构的视频模型，在处理参考图时，往往需要在时间步和空间步之间做复杂的注意力计算。参考图数量一多，注意力机制就会被分散，模型不知道该重点关注哪张图的哪些特征。

更麻烦的是，如果参考图之间存在矛盾——比如一张是正面光，一张是侧逆光，一张是微笑，一张是严肃——模型在生成时就会在这些矛盾的特征之间"打架"，导致输出的角色在不同帧之间出现不稳定的变化。

我自己的经验是，对于大多数视频生成模型，3到5张高质量的、特征一致的参考图，效果往往比十几张杂乱的要好。关键不在于数量，而在于参考图之间的"一致性"和"互补性"。

2.3 跨镜头的本质：每一帧都在重新"猜"角色长什么样

要理解跨镜头变脸的根本原因，需要稍微深入一点视频生成模型的工作原理。

当前主流的视频生成模型，无论是基于扩散的还是基于自回归的，其核心机制都是在给定条件下，逐步去噪生成目标视频。当你提供参考图时，模型会尝试从参考图中提取角色的身份特征，然后在生成每一帧时，把这些特征作为条件注入。

但问题在于，这个"注入"过程并不是一次性的。模型在生成每一帧时，都会重新计算注意力权重，重新决定"这一帧应该从参考图里拿多少信息"。当镜头切换、姿态变化、光照变化时，模型对参考图的"关注点"也会发生变化。如果参考图本身不够鲁棒，或者模型的身份保持机制不够强，那么每一帧生成出来的角色就会像在"重新猜"一样，猜着猜着就猜偏了。

这就像传话游戏，第一个人说了一句话，第二个人传给第三个人，传到最后，意思可能完全变了。视频生成中的角色一致性也是类似的道理：每一帧都在参考图的基础上做"再创作"，误差会随着帧数的增加而累积。

3. 参考图到底该怎么选：质量、角度与一致性的三角平衡

3.1 参考图的质量比数量重要得多

如果你只能记住一件事，那就是：参考图的质量，远比数量重要。

什么叫质量高？首先是分辨率要够，模糊的、压缩严重的图，模型提取不出有效的身份特征。其次是主体要清晰，角色在画面中占比要大，背景要干净，不要让模型把背景元素也当成角色特征学进去。第三是光照要均匀，避免过曝或过暗，因为极端光照会掩盖面部的细节特征。

我见过不少人为了凑数量，把一些低质量的截图、带水印的图、甚至不同角色的图混在一起喂给模型，结果可想而知。模型不是人，它没有常识判断能力，你给它什么，它就学什么。垃圾进，垃圾出，这个道理在AI生成领域尤其明显。

3.2 角度覆盖要合理，但不要追求"全角度"

理想情况下，参考图应该覆盖角色在视频中可能出现的主要角度。如果你的视频里有正面、侧面、俯视、仰视等多种镜头，那么参考图最好也能覆盖这些角度。

但这并不意味着你要把360度所有角度都凑齐。实际上，对于大多数视频生成模型来说，正面、四分之三侧面、正侧面这三个角度，已经能提供足够的身份信息了。过多的角度反而会让模型在特征提取时产生混淆，尤其是当不同角度的参考图之间存在光照或表情差异时。

我的建议是，优先选择那些光照一致、表情中性、背景干净的参考图。如果可能的话，用同一套光照条件下拍摄或生成的多角度图，效果会好很多。

3.3 表情和姿态：中性优先，避免极端

参考图中的表情和姿态，也会影响模型对角色身份的理解。如果参考图里角色在笑、在皱眉、在张嘴，模型可能会把这些表情特征也当作身份的一部分。到了生成阶段，如果目标镜头需要的是平静的表情，模型就可能因为参考图里的笑容而"强行"给角色加上笑意，导致表情不自然。

姿态也是类似的道理。如果参考图里角色是侧身站立的，模型可能会把这种姿态偏好也学进去，导致在生成正面镜头时，角色的身体朝向出现偏差。

所以，在选择参考图时，尽量优先选择表情中性、姿态端正的图。如果确实需要覆盖不同表情，可以把表情图和身份图分开处理，先用身份图建立角色特征，再用表情图做局部控制。

4. 模型层面的身份保持机制：为什么有的模型稳，有的模型飘

4.1 身份注入的方式决定了稳定性的上限

不同的视频生成模型，在处理参考图时采用的技术路线是不一样的。有的模型使用简单的特征拼接，把参考图的特征向量直接拼接到生成条件里；有的模型使用交叉注意力机制，让生成过程动态地从参考图中提取信息；还有的模型使用专门的身份保持模块，比如IP-Adapter、ReferenceNet这类结构。

这些不同的技术路线，直接决定了角色一致性的上限。一般来说，使用专门身份保持模块的模型，在跨镜头一致性上表现会更好，因为这些模块被设计出来就是为了解决"参考图特征如何稳定注入"这个问题。而简单的特征拼接，虽然实现起来容易，但在复杂场景下很容易失效。

如果你在使用某个视频生成工具时发现角色一致性特别差，可以先了解一下它底层用的是什么模型、什么身份保持机制。如果是那种"把参考图当普通条件拼进去"的方案，那一致性差就是先天不足，再怎么调参也很难有质的飞跃。

4.2 时间注意力：视频模型保持连贯的关键

视频生成模型和图像生成模型的一个核心区别，在于时间注意力的引入。时间注意力机制让模型在生成每一帧时，能够"看到"前后帧的信息，从而保持时间上的连贯性。

但时间注意力是一把双刃剑。如果时间注意力太弱，帧与帧之间的连贯性就不够，角色会在不同帧之间跳动；如果时间注意力太强，模型可能会过度依赖前一帧的信息，导致误差累积，越到后面越偏离参考图。

理想的时间注意力应该是"有弹性的"：在角色特征稳定的部分，可以适当加强时间注意力，保持连贯；在角色特征容易漂移的部分，应该更多地参考原始参考图，而不是盲目依赖前一帧。

这也是为什么有些模型在短视频上表现不错，但视频一长就开始崩。因为时间一长，误差累积效应就显现出来了。

4.3 不同模型的实际表现差异

从我自己的测试来看，不同模型在角色一致性上的表现差异非常大。有些模型在单镜头内的一致性做得很好，但一跨镜头就露馅；有些模型跨镜头一致性还行，但单镜头内的动作流畅度不够；还有些模型在特定风格（比如写实风）下表现不错，但换个风格（比如动漫风）就完全不行。

这种差异，一方面来自模型架构的不同，另一方面也来自训练数据的差异。如果一个模型在训练时见过大量多镜头、同一角色的视频数据，它在角色一致性上的表现就会更好。反之，如果训练数据里大多是单镜头、短时长的视频，模型就没有学会如何在跨镜头场景下保持角色一致。

所以，选择模型时，不要只看它生成的单帧画质有多好，一定要测试它在多镜头、长时长场景下的角色一致性表现。这才是真正拉开差距的地方。

5. 实操中的缓解策略：从提示词到后处理的完整链路

5.1 提示词里的身份锚点：把角色特征写死

虽然参考图是保持角色一致性的主要手段，但提示词的作用也不可忽视。在提示词中明确写出角色的核心特征，相当于给模型加了一道"保险"。

具体来说，你可以在提示词里固定描述角色的几个关键属性：发型（长发/短发/卷发/直发）、发色、瞳色、肤色、脸型、服装风格等。这些描述不需要很详细，但要在每个镜头的提示词里保持一致。

比如，如果你的角色是"黑色短发、棕色眼睛、圆脸、穿白色衬衫"，那么在每个镜头的提示词里都写上这几个关键词。这样即使参考图在某些镜头上没有完全发挥作用，提示词也能起到一定的"兜底"作用。

需要注意的是，提示词里的描述要和参考图保持一致。如果参考图里角色是长发，提示词里写短发，那模型就会困惑，不知道该听谁的。

5.2 分段生成与首帧锚定：把长视频拆成短片段

一个非常实用的策略是：不要试图一次性生成整个视频，而是把它拆成多个短片段，每个片段单独生成，然后用首帧锚定的方式保持连贯。

具体做法是：先生成第一个镜头，确认角色形象符合预期后，把第一个镜头的最后一帧截取出来，作为第二个镜头的首帧参考图。这样，第二个镜头就会以第一个镜头的结尾为起点，角色形象自然就延续下来了。

这个方法的好处是，每个片段的时间都比较短，模型在短时间内保持角色一致性的能力更强。而且，通过首帧锚定，误差不会无限累积，因为每个片段都以实际生成的结果为起点，而不是以原始参考图为起点。

当然，这个方法也有缺点：如果第一个镜头本身就偏了，那后面的镜头会跟着偏。所以，第一个镜头的生成质量至关重要，一定要反复调整，确认满意后再往下做。

5.3 局部重绘与面部修复：事后补救的手段

如果生成的视频里，某些镜头的角色面部出现了明显的偏差，可以考虑用局部重绘或面部修复的方式来补救。

局部重绘的思路是：把有问题的帧截取出来，用图像生成模型（配合参考图）重新生成面部区域，然后再把修复后的面部贴回视频中。这个过程需要一些图像处理的基础，但效果往往比重新生成整个视频要好。

面部修复工具（比如CodeFormer、GFPGAN这类）也可以用来提升面部的一致性和清晰度。不过需要注意的是，这些工具主要是做"修复"而不是"替换"，如果角色的五官结构已经变了，修复工具也救不回来。

5.4 后处理阶段的色彩与光照统一

有时候，角色看起来"变脸"了，其实不一定是五官变了，而是光照和色彩不一致导致的视觉差异。比如，第一个镜头是暖光，第二个镜头是冷光，同一个角色在两种光照下看起来就会像两个人。

这种情况下，可以在后处理阶段做色彩和光照的统一。具体做法是：选取一个"基准镜头"，提取它的色彩分布和光照特征，然后用色彩校正工具（比如DaVinci Resolve、Adobe Premiere的Lumetri Color）把其他镜头向基准镜头对齐。

这个方法虽然不能解决五官层面的不一致，但对于光照和色彩导致的不一致，效果非常明显。而且，它是在生成之后做的，不会影响生成过程，操作起来也比较灵活。

6. 那些没人告诉你的坑：我在实操中踩过的血泪教训

6.1 参考图里的背景元素会被"学"进去

这是一个非常隐蔽的坑。如果你给的参考图里，角色站在一个特定的背景前（比如办公室、咖啡厅、户外），模型可能会把背景的某些元素也当作角色特征的一部分。到了生成阶段，即使你换了背景，模型也可能在角色周围"残留"一些参考图里的背景元素。

我遇到过最离谱的一次是，参考图里角色站在一面红砖墙前，结果生成的视频里，不管角色走到哪里，身后都隐隐约约有一片红色的纹理。后来我把参考图的背景全部抠掉，换成纯色背景，这个问题就解决了。

所以，给参考图之前，最好先把背景处理干净。如果不会抠图，至少选择背景简单的图，避免复杂的纹理和颜色。

6.2 不同分辨率的参考图混用会出问题

另一个容易忽略的坑是参考图的分辨率。如果你混用了不同分辨率的参考图，模型在处理时可能会因为尺度不一致而产生混淆。尤其是当低分辨率图和高分辨率图混在一起时，模型可能会从低分辨率图里学到模糊的特征，然后把这种模糊"传染"给生成结果。

我的建议是，所有参考图统一处理成相同的分辨率，而且这个分辨率不要低于模型推荐的最小输入尺寸。一般来说，512x512或768x768是比较安全的范围。

6.3 参考图的顺序也会影响结果

这个可能有点反直觉：参考图的输入顺序，也会影响模型对角色特征的理解。有些模型在处理多张参考图时，会给予第一张图更高的权重，或者按照顺序逐步融合特征。如果你把一张不太有代表性的图放在第一位，模型可能会优先学习这张图的特征，导致后续生成偏向这张图。

所以，把最能代表角色身份的图放在第一位，是一个值得尝试的小技巧。通常来说，正面、光照均匀、表情中性的图，最适合作为第一张参考图。

6.4 模型对"相似但不相同"的角色会混淆

如果你的项目里有两个或多个角色，而且他们的外貌特征比较接近（比如都是黑色短发、相似脸型），模型可能会把他们混淆。尤其是在跨镜头生成时，模型可能会把角色A的特征错误地应用到角色B身上。

这种情况下，除了给每个角色单独提供参考图之外，还可以在提示词里用不同的关键词来区分他们。比如，角色A用"蓝色眼睛"，角色B用"绿色眼睛"，通过明确的特征差异来帮助模型区分。

7. 当前技术边界与务实预期：什么能做，什么还做不到

7.1 短镜头、少角色、简单场景：目前已经比较成熟

如果你做的是短时长（几秒到十几秒）、单角色或双角色、场景相对简单的视频，那么当前的技术已经能做得比较好了。只要参考图选得合适，提示词写得清楚，模型选择得当，角色一致性基本能满足需求。

这类场景包括：产品展示、虚拟主播口播、简单的叙事短片等。在这些场景下，角色一致性虽然不能说百分之百完美，但已经达到了"可用"的水平。

7.2 长视频、多角色、复杂交互：仍然需要大量人工干预

如果你做的是长视频（几分钟以上）、多角色互动、场景频繁切换的项目，那么角色一致性仍然是一个很大的挑战。当前的技术还做不到"一键生成、全程稳定"，你需要做大量的分段生成、局部修复、后处理对齐等工作。

而且，即使做了这些工作，最终的效果也可能只能达到"勉强能看"的水平，离"专业级"还有不小的距离。如果你的项目对角色一致性要求非常高，可能需要考虑结合传统CG或实拍的方式，而不是完全依赖AI生成。

7.3 对"一致性"的定义要务实

最后想说的是，对"一致性"的定义要务实。在AI视频生成中，绝对的一致性是不存在的。即使是同一个模型、同一组参考图，每次生成的结果也会有细微的差异。这种差异在单帧看可能不明显，但在连续播放时，人眼对细微变化的敏感度会很高。

所以，与其追求"每一帧都一模一样"，不如追求"观众看不出明显的不一致"。这中间的差距，就是你可以通过选图、调参、后处理来弥补的空间。

8. 我目前的工作流：一套可复现的角色一致性保障方案

8.1 前期准备：角色设定与参考图库

在开始生成之前，我会先做两件事：一是确定角色的核心特征，写一份"角色设定卡"，包括发型、发色、瞳色、肤色、脸型、服装等关键属性；二是准备一套高质量的参考图库，通常包括正面、四分之三侧面、正侧面三个角度，每个角度2到3张，总共6到9张图。

这些参考图我会统一处理成相同的分辨率，背景全部抠干净，光照尽量一致。如果找不到合适的现成图，我会先用图像生成模型生成一套，确保特征一致。

8.2 生成阶段：分段生成加首帧锚定

生成阶段，我不会一次性生成整个视频，而是按镜头分段生成。每个镜头先生成首帧，确认角色形象符合预期后，再生成完整的镜头片段。下一个镜头的首帧，会以上一个镜头的最后一帧为参考，同时配合原始参考图库，双重保障角色一致性。

如果某个镜头的角色出现了明显偏差，我会调整提示词或参考图权重，重新生成这个镜头，而不是将就着用。

8.3 后处理阶段：色彩统一与面部微调

所有镜头生成完毕后，我会在后期软件里做两件事：一是色彩和光照的统一，以第一个镜头为基准，把其他镜头的色彩向它对齐；二是面部微调，对个别偏差较大的帧，用局部重绘或面部修复工具做补救。

这套工作流虽然比较繁琐，但实测下来，角色一致性比"一键生成"要好很多。当然，它也需要一定的图像处理和视频编辑基础，如果你刚入门，可以先从简单的项目开始，逐步熟悉这套流程。

8.4 工具选择上的几点体会

在工具选择上，我的体会是：不要迷信某一个"万能工具"。不同的模型在不同的场景下表现不一样，有的擅长写实，有的擅长动漫，有的在短镜头上表现好，有的在长镜头上更稳。多试几个，找到最适合你项目需求的组合。

另外，本地部署和线上平台各有优劣。本地部署的好处是可控性强，可以自由调整参数和模型；线上平台的好处是省事，不用折腾环境。如果你的项目对角色一致性要求很高，建议还是走本地部署路线，因为你可以更精细地控制生成过程。

9. 写在最后：一些个人体会

角色一致性这个问题，短期内可能不会有"完美解决方案"。它涉及到模型架构、训练数据、参考图处理、生成策略等多个层面，任何一个环节的不足都会导致最终效果打折扣。

但好消息是，这个领域进展非常快。每隔几个月，就会有新的模型、新的方法出来，角色一致性的上限也在不断提高。我自己的感受是，一年前觉得"完全没法用"的场景，现在已经有了一些可行的思路；现在觉得"很难搞"的场景，可能过不了多久就会有新的突破。

如果你正在做AI视频相关的项目，我的建议是：不要等到"完美方案"出现再动手，而是从现在开始，用现有的工具和方法，边做边积累经验。角色一致性虽然难，但并不是不可逾越的障碍。通过合理的参考图选择、分段生成策略、后处理补救，你已经能做出让观众"看不出明显破绽"的作品了。

至于那些目前还做不到的事情，就留给时间和技术的进步吧。