ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

ComfyUI-LTXVideo 完整上手指南:10 分钟跑通 LTX-2 AI 视频生成

ComfyUI-LTXVideo 完整上手指南:10 分钟跑通 LTX-2 AI 视频生成

ComfyUI-LTXVideo 完整上手指南:10 分钟跑通 LTX-2 AI 视频生成

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

把深度图和边缘图塞进同一个控制 LoRA(给模型叠加特定能力的轻量微调模块),让视频按轮廓和空间深浅动起来;把 SDR 素材升级成线性 HDR,直接导出 EXR 序列进调色流程——这是 ComfyUI-LTXVideo 在 LTX-2 上能做的事。LTX-2 已内置在 ComfyUI 核心里,这组自定义节点负责剩下的进阶部分:控制条件、HDR 输出、两阶段放大、低显存推理。本文覆盖装节点、备模型、跑通首条工作流,以及进阶玩法。

能生成什么效果:先看能力清单

装之前先心里有数。IC-LoRA 是做了图像/视频条件训练的 LoRA,让模型去参考并跟随你给的图片、深度图等。基于它,ComfyUI-LTXVideo 可以做到:

  • 文本/图片生视频:full 与 distilled(少步数快采)模型,单阶段或两阶段(第二阶段做放大)
  • 控制类 IC-LoRA:深度 + 人体姿态 + 边缘、运动跟踪、dolly 推拉、jib 升降等运镜
  • HDR 视频:SDR 素材升成线性 HDR,导出 EXR 进调色
  • Dub-It 配音:改口播内容或翻译成外语,人物和音色保持一致
  • 生成式放大:Pixel Spatial Upscaler IC-LoRA 以 2×/4× 合成细纹理,不是简单像素插值
  • 纯音频:LTXVAudioOnlyModel节点只出音频不出画面
  • V2V 精修:细节增强、修补、扩展画幅,以及日转夜、去模糊等场景化 LoRA

用 ComfyUI Manager 一键装好节点

先核对硬件,缺一项都白搭:

  • 已安装 ComfyUI
  • CUDA 兼容 GPU,显存建议 32GB 起
  • 预留 100GB 以上磁盘空间,整套模型不小

安装步骤:

  1. 打开 ComfyUI 界面,按 Ctrl+M 唤出 Manager 面板
  2. 选 "Install Custom Nodes" 菜单项
  3. 输入 LTXVideo 搜索,点击安装
  4. 装完后重启 ComfyUI

重启后,节点菜单里会多出一个 LTXVideo 分类,模型会在首次运行时自动拉取。依赖没装全的话(diffusers、einops、huggingface_hub>=0.25.2、kornia、ninja~=1.11.1.4、transformers[timm]>=4.50.0,另有 openimageio 负责 EXR 读写,完整清单见 requirements.txt),跑一下pip install -r requirements.txt补齐即可。

模型下载清单:备齐再跑工作流

路径都相对 COMFYUI_ROOT_FOLDER(ComfyUI 安装根目录):

用途文件存放位置
主模型,二选一ltx-2.3-22b-dev.safetensors或ltx-2.3-22b-distilled-1.1.safetensorsmodels/checkpoints
空间上采样器,两阶段必装ltx-2.3-spatial-upscaler-x2-1.1.safetensors、ltx-2.3-spatial-upscaler-x1.5-1.0.safetensorsmodels/latent_upscale_models
时间上采样器,两阶段必装ltx-2.3-temporal-upscaler-x2-1.0.safetensorsmodels/latent_upscale_models
蒸馏 LoRA,两阶段需要(DistilledPipeline、ICLoraPipeline 除外)ltx-2.3-22b-distilled-lora-384-1.1.safetensorsmodels/loras
Gemma 文本编码器,Gemma 3 的全部文件gemma-3-12b-it-qat-q4_0-unquantized仓库内容models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized
功能 LoRA,按玩法选装ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors、ltx-2.3-22b-ic-lora-motion-track-control-ref0.5.safetensors、ltx-2.3-22b-ic-lora-hdr-0.9.safetensors、ltx-2-19b-ic-lora-detailer.safetensors、ltx-2-19b-ic-lora-pose-control.safetensors,相机控制系列等models/loras

Gemma 编码器负责读懂提示词,是 12B 的 QAT 量化版。功能 LoRA 不必一次拉齐,玩到哪个场景再下哪个。

跑通第一条工作流:从示例图入手

示例图都在 example_workflows/ 目录,按模型版本 2.0 / 2.3 / 2.5 归档:

  • 2.3 系列:文/图生视频单阶段(full 与 distilled)、文/图生视频两阶段带放大、IC-LoRA Union Control(深度 + 姿态 + 边缘)、I2V 运动跟踪、HDR、Dub-It 两阶段、像素空间放大、文本生成音频
  • 2.0 系列:T2V full / distilled、I2V full / distilled、V2V detailer、IC-LoRA All(深度 + 姿态 + 边缘)、降采样参考 latent 版本(ref0.5)

操作就三步:把 .json 拖进 ComfyUI 页面载入图;核对各加载节点里的模型名和下载的文件对得上;点 "Queue Prompt" 出片。

功能详解:Union IC-LoRA、HDR 与 Tiled Fusion

Union IC-LoRA:一个 LoRA 扛住深度和边缘

按常理,两种控制信号要配两个 LoRA,Union IC-LoRA 把深度和 canny 边缘条件合并进一个统一 LoRA。训练目标是让模型自己识别输入里带着哪种控制信号,不用你手动切换。另一处设计:它在降采样后的 latent 尺寸上工作,显存占用更小、推理提速明显,质量基本不掉。对应工作流是 2.3 目录里的LTX-2.3_ICLoRA_Union_Control_Distilled.json。

HDR IC-LoRA:出片即线性 HDR

这条 LoRA 先在 LogC3 压缩空间里出帧,再由LTXVHDRDecodePostprocess节点解码回线性 HDR 数值。输出是双份的:一路 Reinhard 色调映射后的 SDR 预览,方便直接看效果;一路原始线性 HDR 张量,交给下游处理。还可以把线性 HDR 帧写成 16/32-bit EXR 图像序列,适合分级和母版交付。工作流入口:LTX-2.3_ICLoRA_HDR_Distilled.json。

Tiled Fusion:超出训练窗口的大画布

LTXVTiledFusionSampler在一块共享的 latent 画布上切重叠空间 tile,每个去噪步骤按 tile 执行,专治 IC-LoRA V2V 场景(guide 已由LTXAddVideoICLoRAGuide挂好)。搭配LTXVGetTilingSizes节点选合法的画布、tile 和帧数,规则细节在 tiled_fusion_sampler.md。注意别和LTXVTiledSampler混了:后者是各 tile 独立采样,玩法完全不同。一个坑:放大时提示词只写观感和风格(光线、色板、锐度、调色),别点名具体物体,否则名字里的细节可能在每个空间 tile 里都冒出来。

显存不够怎么跑:两个低显存手段

显存吃紧时,两个抓手可以叠着用:

  • 换用 low_vram_loaders.py 里的低显存加载器节点:保证执行顺序正确、负责模型卸载,让生成过程塞进 32GB 显存
  • 启动时加--reserve-vram参数给系统留出余量:python -m main --reserve-vram 5,数字单位是 GB

前者管模型进出,后者管环境余量,双管齐下最稳。

第一步:今天就跑这张图

先别碰进阶功能。第一次运行走最快路径:下ltx-2.3-22b-distilled-1.1.safetensors检查点和 Gemma 编码器,把 2.3 目录里的LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json拖进 ComfyUI,改个提示词直接跑。单阶段、不用上采样器,一遍就能看到完整链路。跑通之后再回头按清单补模型,逐个试 Union、HDR 和 Tiled Fusion 玩法。

【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进