ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

ComfyUI-LTXVideo:本地视频生成节点实战指南

ComfyUI-LTXVideo:本地视频生成节点实战指南

ComfyUI-LTXVideo:本地视频生成节点实战指南

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

ComfyUI 本地视频生成缺少完整控制与高分辨率输出的扩展节点集,覆盖文生视频、图生视频、IC-LoRA 控制与两阶段上采样,适合已在 ComfyUI 里跑过图像工作流、想产出完整 LTX-2 视频的人。

三步出片:克隆、装依赖、加载第一个工作流

先确认三件事:ComfyUI 已能启动、GPU 为 CUDA 且显存不低于 32GB(官方 Prerequisites 的口径)、磁盘留 100GB 以上给模型和缓存。然后:

git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo ComfyUI/custom_nodes/ComfyUI-LTXVideo cd ComfyUI/custom_nodes/ComfyUI-LTXVideo && pip install -r requirements.txt

重启 ComfyUI 后,节点会出现在节点菜单的 LTXV 分类下(LTX-2 主干已内置在 ComfyUI 核心里,本仓库只提供扩展节点)。接着按 README 的清单下载模型:checkpoint 放models/checkpoints,Gemma 文本编码器放models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized,其余上采样器和 LoRA 放models/latent_upscale_models与models/loras。

首次出片建议直接加载 example_workflows/2.3/LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json:把提示词换成你要的内容,EmptyLTXVLatentVideo默认 960×544、121 帧,ManualSigmas是蒸馏版专用的 9 步调度,点 Queue Prompt 即可得到带音频的成片。

文字变成 4 秒视频

效果:纯文字驱动生成带声音的视频。对应工作流:上面的单阶段蒸馏图。关键参数:ManualSigmas的步数(蒸馏模型 9 步就够,全量模型需要更密的调度)、LTXVScheduler的起止噪声范围、KSamplerSelect的采样器(示例用euler_ancestral_cfg_pp)。

注意:distilled 工作流里都挂着ltx-2.3-22b-distilled-lora-384-1.1.safetensors(LoraLoaderModelOnly节点加载),删掉它或换了非蒸馏 checkpoint,生成步数和画面节奏都会不对。

让静态图动起来

效果:一张参考图作为首帧,生成带运动的视频。对应工作流:同一张图,把LoadImage的输出接到LTXVImgToVideoConditionOnly。关键参数:strength(示例里是 0.7),值越高首帧贴得越死、运动越小;接上后走 I2V 分支,不接则是纯 T2V。

如果要多帧关键帧控制(比如指定第 0 帧和第 63 帧各用一张图),用 LTXVLoopingSampler 文档 里描述的optional_cond_image_indices,填"0, 63"这样的帧号列表即可。

用 IC-LoRA 精确控制画面

效果:按深度图、边缘图、运动轨迹或台词来约束生成,而不只靠文字。对应节点:LTXICLoRALoaderModelOnly加载对应 IC-LoRA,LTXAddVideoICLoRAGuide把参考素材挂到条件上。仓库提供现成示例:Union Control(深度+姿态+边缘)、Motion Track、DubIt(换台词并重新生成口型与语音,两阶段带音频上采样)。

坑在LTXAddVideoICLoRAGuide的参考位置参数:视频参考用 0 对齐生成片段,单张图参考用 -1 放到生成帧范围之外,填错会出现参考画面"穿"进结果里。

把短视频放大到 4K

效果:V2V 场景下做生成式上采样或细节精修,输出 FullHD/4K 甚至 8K。对应节点:LTXVTiledFusionSampler配LTXVGetTilingSizes,示例在 example_workflows/2.5/(V2V_TiledFusion_Upscale、Native_4K_8K)。它维护一张 latent 画布和一个噪声场,每个去噪步都在重叠的 crop 上跑模型再融合回画布,所以不会留缝——这和独立采样各 tile 的LTXVTiledSampler是两回事,别混用。

关键参数:tile_width/tile_height必须取 IC-LoRA 受训空间窗口(32 的倍数),overlap_frac保持 0.5 以上,低于它会在规则纹理上出周期性网格。另外它的详细说明在 tiled_fusion_sampler.md。

这里有一条反直觉的规则:提示词只写光影、色板、锐度这类风格词,不要点名画面里的具体物体,否则那个物体会在每个空间 tile 里各生成一份。

HDR 升级与纯音频生成

效果:把 SDR 视频升为 ACEScct 线性 HDR,或只出音频不出画面。HDR 链路用 HDR IC-LoRA 生成 LogC3 压缩空间帧,再经LTXVHDRDecodePostprocess解回线性 HDR,可选导出 16/32-bit EXR 序列(依赖 openimageio,已在 requirements.txt 里)。音频链路用LTXVAudioOnlyModel关掉视频的注意力分支,配合LTXVAudioOnlyEmptyVideoLatent(64×64 单帧占位符)经LTXVConcatAVLatent拼进 latent,再LTXVAudioVAEDecode解出声音——占位符不会被 attend 到,成本可忽略。

翻车自救手册

现象:生成中途 OOM 崩溃。可能原因:22B 主干 + 长时序窗口一次性占满显存。最小修复:把加载器换成LowVRAMCheckpointLoader(用 dependencies 输入串起多个 loader 强制顺序加载),并加启动参数:

python main.py --reserve-vram 5

再不行就降分辨率或改分块(下节)。

现象:分块输出有可见接缝或周期网格。可能原因:空间重叠不足,或采样器不兼容。最小修复:LTXVTiledFusionSampler的overlap_frac拉回 0.5+;采样器只选离散步方法(euler/heun/dpm_2),历史多步法会丢跨步记忆,ancestral 类每 tile 加独立噪声、必出缝。

现象:长视频后段过饱和、色彩漂移。可能原因:时序 tile 的统计量随片段累积。最小修复:LTXVLoopingSampler的adain_factor设 0.1–0.3,temporal_overlap保持 tile 长度的 1/3 左右。

现象:报 Q8 相关 ImportError。可能原因:LTXVQ8Patch需要 q8_kernels 包,仓库本身不捆绑它。最小修复:单独安装 q8_kernels 后再挂LTXVQ8Patch,或干脆移除该节点用默认精度。

现象:报 "Guider does not have negative conds"。可能原因:guider 没带负向条件。最小修复:把 guider 换成CFGGuider或MultimodalGuider再接采样器。

分块、量化与批量

分块有三档,按显存压力从上往下用:LTXVTiledFusionSampler适合 IC-LoRA V2V 的大画布精修;LTXVTiledSampler独立采样网格,适合普通 T2V/I2V 提分辨率;LTXVTiledVAEDecode只把解码阶段切开,最便宜,单阶段工作流里已经默认在用。长视频用LTXVLoopingSampler做时间分块:

temporal_tile_size: 80 temporal_overlap: 24 adain_factor: 0.1

提速上,Q8 量化是显存和速度的双收益:

pip install q8_kernels

装上后在图里挂LTXVQ8Patch,按quantization_preset选精度档位。批量跑图时,把LTXVSaveConditioning/LTXVLoadConditioning用起来,可以缓存文本条件结果,避免同一条提示词在多个实验里重复过 Gemma 编码器。

硬件怎么选

README 给的官方线是 32GB+ 显存加 100GB+ 磁盘,系统内存 16GB 以上。按这个口径,"舒服线"就是 32GB:全量模型、两阶段上采样、8K 分块融合都不用再绕路,显存只影响速度不影响可行性。"够用线"是 24GB:只能跑蒸馏模型,大画布必须走分块,长视频靠时间分块,并且建议叠加 Q8 量化。低于 24GB 就不建议硬上了——问题不在代码而在显存墙,换机器比调参数划算。

下一步

今天就做:跑通LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full,换一条提示词出 121 帧带音频的成片。本周再做:接上两阶段工作流(LTX-2.3_T2V_I2V_Two_Stage_Distilled),体会空间上采样器对分辨率和细节的提升,再对比一遍单阶段的输出质量。

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进