SadTalker 环境配置实战从模型下载到首个会说话的视频完整跑通【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker如果你手上只有一张静态人像和一段语音却想让图中的人开口说话、眨眼睛、甚至随语音节奏转头——这正是 SadTalker 的看家本领语音驱动的单图说话人视频生成。SadTalker 环境配置本身不算复杂但沿途有几个明确的坑。跟着这篇文章走一遍你既能在自己机器上出片也拿得到高频报错的排查路径。SadTalker 能做什么先看能力边界在动手之前先弄清 SadTalker 这套工具能产出什么后面每一步操作的目的就清晰了单图 语音 说话人视频给一张人像图和一段 wav输出口型、表情、头部姿态由语音自动驱动的视频。支持全身图加--still --preprocess full组合身体姿态不漂移只让脸部动。质量可控可选 gfpgan 人脸增强或用参考视频借调眼神与头姿让画面更自然。SadTalker 环境配置准备三大平台差异一张表SadTalker 环境配置只需要三样东西Python 3.8、PyTorch、ffmpeg。平台间的差异极小真正不同的只有表里这几格项目WindowsmacOSM1/M2LinuxPython3.8安装时勾选加入 PATH3.83.8ffmpeg需手动安装并加入系统 PATHconda install ffmpeg或 brewconda install ffmpeg特殊依赖无需额外pip install dlib无PyTorchpip install torch torchvision torchaudio同左同左更细的平台问题WSL、Docker 等可参考仓库内的 docs/install.md。跑起 SadTalker 的四件任务让 SadTalker 跑起来按顺序完成下面四件小任务即可每件都有明确目的。拉取代码项目代码与示例素材图片、语音都放在仓库里克隆下来是后续一切操作的地基git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker构建隔离环境用 conda 建独立环境可以避免依赖污染你机器上的其他项目conda create -n sadtalker python3.8 conda activate sadtalker激活后装 PyTorch 和项目依赖两条命令解决pip install torch torchvision torchaudio pip install -r requirements.txt macOS 用户装完上面这些后记得再补一条pip install dlib否则后面人脸关键点步骤会报 Illegal Hardware Error。下载模型资产SadTalker 的推理依赖多个预训练权重音频到表情、音频到姿态、256/512 两档渲染器外加 gfpgan 增强模型仓库自带一键脚本免去手动拼链接bash scripts/download_models.sh 脚本会自动创建checkpoints/与gfpgan/weights/目录并拉取约 2GB 模型文件网络稳定即可中断后重跑该命令会跳过已完成的下载。生成第一个说话人视频把inference.py指向上面的示例素材就能产出第一条视频python inference.py --driven_audio examples/driven_audio/chinese_news.wav \ --source_image examples/source_image/art_0.png --result_dir results成功后结果落在results/时间戳/*.mp4用播放器打开即可看到人脸随语音开合。SadTalker 常见问题速查现象 → 原因 → 修复SadTalker 环境配置和首次运行中出现的报错绝大多数能落在下表里。对照现象找原因修复列都是一行可执行的操作现象可能原因一行修复ffmpeg不是内部或外部命令ffmpeg 未安装或未进 PATHconda install ffmpegWindows 手动加入 PATHFileNotFoundError: ...similarity_Lm3D_all.mat模型目录未就位重跑bash scripts/download_models.shRuntimeError: unexpected EOF ... corruptedgfpgan 权重下载损坏删掉损坏文件后重新下载ModuleNotFoundError: No module named aiepoch_20.pth缺失或不完整核对checkpoints/中文件大小并补下Illegal Hardware ErrorM1 Macdlib 二进制架构不匹配pip install dlib单独重装Invalid data ... mp3float解码失败音频格式不受支持转成 wav 或 mp3 再输入其中最折腾的是显存不足CUDA out of memory512 分辨率模型叠加增强器会同时占用不少显存。缓解办法是运行前设置环境变量PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128限制 PyTorch 切分内存块的粒度仍不够就换 256 分辨率模型或关掉其他占用 GPU 的程序。更多问题可查 docs/FAQ.md。进阶玩法全身图保持姿态不动地动起来如果你的素材是全身照希望只有脸动、身体原地站定把--preprocess full和--still组合使用系统会自动抠出人脸区域生成动画再贴回原图--still把头姿冻结在原图状态gfpgan 则负责把脸部细节补锐。python inference.py --driven_audio examples/driven_audio/chinese_poem1.wav \ --source_image examples/source_image/full_body_1.png \ --still --preprocess full --enhancer gfpgan跑完检查输出人物保持原有站姿只有口型和表情跟随音频变化背景区域不会跟着抖。收尾与下一步环境跑通、首条视频产出最难的关已经过了剩下的是调参——表情强度、预处理模式、参考视频控制都在 docs/best_practice.md 里有逐项说明建议照着把自己的素材换进去再跑一轮。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考