ComfyUI-LTXVideo 完整上手指南:10 分钟跑通 LTX-2 AI 视频生成
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
把深度图和边缘图塞进同一个控制 LoRA(给模型叠加特定能力的轻量微调模块),让视频按轮廓和空间深浅动起来;把 SDR 素材升级成线性 HDR,直接导出 EXR 序列进调色流程——这是 ComfyUI-LTXVideo 在 LTX-2 上能做的事。LTX-2 已内置在 ComfyUI 核心里,这组自定义节点负责剩下的进阶部分:控制条件、HDR 输出、两阶段放大、低显存推理。本文覆盖装节点、备模型、跑通首条工作流,以及进阶玩法。
能生成什么效果:先看能力清单
装之前先心里有数。IC-LoRA 是做了图像/视频条件训练的 LoRA,让模型去参考并跟随你给的图片、深度图等。基于它,ComfyUI-LTXVideo 可以做到:
- 文本/图片生视频:full 与 distilled(少步数快采)模型,单阶段或两阶段(第二阶段做放大)
- 控制类 IC-LoRA:深度 + 人体姿态 + 边缘、运动跟踪、dolly 推拉、jib 升降等运镜
- HDR 视频:SDR 素材升成线性 HDR,导出 EXR 进调色
- Dub-It 配音:改口播内容或翻译成外语,人物和音色保持一致
- 生成式放大:Pixel Spatial Upscaler IC-LoRA 以 2×/4× 合成细纹理,不是简单像素插值
- 纯音频:
LTXVAudioOnlyModel节点只出音频不出画面 - V2V 精修:细节增强、修补、扩展画幅,以及日转夜、去模糊等场景化 LoRA
用 ComfyUI Manager 一键装好节点
先核对硬件,缺一项都白搭:
- 已安装 ComfyUI
- CUDA 兼容 GPU,显存建议 32GB 起
- 预留 100GB 以上磁盘空间,整套模型不小
安装步骤:
- 打开 ComfyUI 界面,按 Ctrl+M 唤出 Manager 面板
- 选 "Install Custom Nodes" 菜单项
- 输入 LTXVideo 搜索,点击安装
- 装完后重启 ComfyUI
重启后,节点菜单里会多出一个 LTXVideo 分类,模型会在首次运行时自动拉取。依赖没装全的话(diffusers、einops、huggingface_hub>=0.25.2、kornia、ninja~=1.11.1.4、transformers[timm]>=4.50.0,另有 openimageio 负责 EXR 读写,完整清单见 requirements.txt),跑一下pip install -r requirements.txt补齐即可。
模型下载清单:备齐再跑工作流
路径都相对 COMFYUI_ROOT_FOLDER(ComfyUI 安装根目录):
| 用途 | 文件 | 存放位置 |
|---|---|---|
| 主模型,二选一 | ltx-2.3-22b-dev.safetensors或ltx-2.3-22b-distilled-1.1.safetensors | models/checkpoints |
| 空间上采样器,两阶段必装 | ltx-2.3-spatial-upscaler-x2-1.1.safetensors、ltx-2.3-spatial-upscaler-x1.5-1.0.safetensors | models/latent_upscale_models |
| 时间上采样器,两阶段必装 | ltx-2.3-temporal-upscaler-x2-1.0.safetensors | models/latent_upscale_models |
| 蒸馏 LoRA,两阶段需要(DistilledPipeline、ICLoraPipeline 除外) | ltx-2.3-22b-distilled-lora-384-1.1.safetensors | models/loras |
| Gemma 文本编码器,Gemma 3 的全部文件 | gemma-3-12b-it-qat-q4_0-unquantized仓库内容 | models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized |
| 功能 LoRA,按玩法选装 | ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors、ltx-2.3-22b-ic-lora-motion-track-control-ref0.5.safetensors、ltx-2.3-22b-ic-lora-hdr-0.9.safetensors、ltx-2-19b-ic-lora-detailer.safetensors、ltx-2-19b-ic-lora-pose-control.safetensors,相机控制系列等 | models/loras |
Gemma 编码器负责读懂提示词,是 12B 的 QAT 量化版。功能 LoRA 不必一次拉齐,玩到哪个场景再下哪个。
跑通第一条工作流:从示例图入手
示例图都在 example_workflows/ 目录,按模型版本 2.0 / 2.3 / 2.5 归档:
- 2.3 系列:文/图生视频单阶段(full 与 distilled)、文/图生视频两阶段带放大、IC-LoRA Union Control(深度 + 姿态 + 边缘)、I2V 运动跟踪、HDR、Dub-It 两阶段、像素空间放大、文本生成音频
- 2.0 系列:T2V full / distilled、I2V full / distilled、V2V detailer、IC-LoRA All(深度 + 姿态 + 边缘)、降采样参考 latent 版本(ref0.5)
操作就三步:把 .json 拖进 ComfyUI 页面载入图;核对各加载节点里的模型名和下载的文件对得上;点 "Queue Prompt" 出片。
功能详解:Union IC-LoRA、HDR 与 Tiled Fusion
Union IC-LoRA:一个 LoRA 扛住深度和边缘
按常理,两种控制信号要配两个 LoRA,Union IC-LoRA 把深度和 canny 边缘条件合并进一个统一 LoRA。训练目标是让模型自己识别输入里带着哪种控制信号,不用你手动切换。另一处设计:它在降采样后的 latent 尺寸上工作,显存占用更小、推理提速明显,质量基本不掉。对应工作流是 2.3 目录里的LTX-2.3_ICLoRA_Union_Control_Distilled.json。
HDR IC-LoRA:出片即线性 HDR
这条 LoRA 先在 LogC3 压缩空间里出帧,再由LTXVHDRDecodePostprocess节点解码回线性 HDR 数值。输出是双份的:一路 Reinhard 色调映射后的 SDR 预览,方便直接看效果;一路原始线性 HDR 张量,交给下游处理。还可以把线性 HDR 帧写成 16/32-bit EXR 图像序列,适合分级和母版交付。工作流入口:LTX-2.3_ICLoRA_HDR_Distilled.json。
Tiled Fusion:超出训练窗口的大画布
LTXVTiledFusionSampler在一块共享的 latent 画布上切重叠空间 tile,每个去噪步骤按 tile 执行,专治 IC-LoRA V2V 场景(guide 已由LTXAddVideoICLoRAGuide挂好)。搭配LTXVGetTilingSizes节点选合法的画布、tile 和帧数,规则细节在 tiled_fusion_sampler.md。注意别和LTXVTiledSampler混了:后者是各 tile 独立采样,玩法完全不同。一个坑:放大时提示词只写观感和风格(光线、色板、锐度、调色),别点名具体物体,否则名字里的细节可能在每个空间 tile 里都冒出来。
显存不够怎么跑:两个低显存手段
显存吃紧时,两个抓手可以叠着用:
- 换用 low_vram_loaders.py 里的低显存加载器节点:保证执行顺序正确、负责模型卸载,让生成过程塞进 32GB 显存
- 启动时加
--reserve-vram参数给系统留出余量:python -m main --reserve-vram 5,数字单位是 GB
前者管模型进出,后者管环境余量,双管齐下最稳。
第一步:今天就跑这张图
先别碰进阶功能。第一次运行走最快路径:下ltx-2.3-22b-distilled-1.1.safetensors检查点和 Gemma 编码器,把 2.3 目录里的LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json拖进 ComfyUI,改个提示词直接跑。单阶段、不用上采样器,一遍就能看到完整链路。跑通之后再回头按清单补模型,逐个试 Union、HDR 和 Tiled Fusion 玩法。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考