ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

2 条命令跑起会对话的 Live2D 数字人

2 条命令跑起会对话的 Live2D 数字人

2 条命令跑起会对话的 Live2D 数字人

【免费下载链接】awesome-digital-human-live2dAwesome Digital Human项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-digital-human-live2d

Awesome-Digital-Human 是一个开源的 Live2D 数字人项目:Docker 部署后,你会得到一个网页,能在里面和虚拟角色用文字或语音对话,角色会动嘴、会切换表情,还能接上你用 Dify、Coze、FastGPT 搭好的 AI 后端。适合想在网站或产品里快速放一个可交互数字人、又不想从零写前后端的开发者,2 核 2G 的机器就能跑。

🎯 什么情况下你会用到它

  • 你想给官网或产品页放一个会说话、会动嘴的虚拟角色,而不只是一张静态立绘
  • 你已经在 Dify 或 Coze 上搭好了问答应用,想给它套一个能语音交互的"脸"
  • 你想低成本验证数字人 PoC:不用本地装 Python 依赖和 Node 环境,硬件要求也在 2 核 4G 左右

⚡ 三步跑起来

环境只需要 Docker 和 Docker Compose。

第一步,把源码拉到本地:

git clone https://gitcode.com/GitHub_Trending/aw/awesome-digital-human-live2d

这条命令把整个项目的代码下载到你的机器上,包括后端服务、前端页面和全部配置模板。

第二步,进入项目目录后一键启动:

docker-compose -f docker-compose-quickStart.yaml up -d

这条命令从镜像仓库拉取预构建好的镜像,把前端页面、API 服务和 FunASR 流式语音识别服务一起跑起来,首次拉镜像需要几分钟。

第三步,浏览器打开http://localhost:8880(容器部署端口),看到数字人就说明跑通了。PC 和手机浏览器都能访问。

💬 跑起来之后能干什么

和它打字聊天。默认是对话模式,界面左侧是数字人形象、右侧是聊天窗,你输入文字它会基于所接的 Agent 回复,支持多轮上下文。

切到沉浸模式,直接开口说话。你点下麦克风开始说话,它会把你的语音识别成文字,再让数字人用语音回答,角色的嘴型跟着语音同步开合,实现见 唇形控制 与前端 Live2D 封装。

换角色、换背景。项目自带 Haru、Hiyori、Tsumiki、Mao 等十余个 Live2D 模型,你在画廊里点一下就能切换形象;往 web/public/sentio/backgrounds/ 里放新图片、在web/lib/constants.ts里注册一下,背景就能在设置页选用。

给它接上你自己的 AI 大脑。设置页的 Agent 选择器里内置了 repeaterAgent(复读,用于测试链路)、DifyAgent、FastGPTAgent、CozeAgent、OpenaiAgent,填入对应平台的 API Key 就能切换,配置模板都在 configs/agents/。

⚙️ 它是怎么运转的

前端是 Next.js + Live2D Cubism SDK,负责渲染角色、采集麦克风和播放语音流。后端是 Python 的 FastAPI 服务(digitalHuman/server/),通过 REST 和 WebSocket 对前端开放接口。ASR、LLM、TTS 三类引擎和 Agent 都按同一套注册机制实现,各自对应 configs/engines/ 和 configs/agents/ 下的一个 yaml 配置文件,你在配置里决定启用哪些、默认用哪个。一次语音对话的路径是:浏览器经 WebSocket 把音频流送给 ASR 引擎(含本地 FunASR 流式服务)→ 识别结果交给 Agent 处理 → 返回的语音流边播边驱动角色口型,细节可看 流式协议文档。

🛠️ 想按自己的需求改怎么办

  • 新增人物模型:把模型放进 web/public/sentio/characters/,并在web/lib/constants.ts中注册名称
  • 新增背景图:同样放图 + 注册,见 web/public/sentio/backgrounds/
  • 加一个 ASR 或 TTS 引擎:在 digitalHuman/engine/asr/ 或 digitalHuman/engine/tts/ 里仿照现有实现写一个类并注册,再把配置文件加进configs/engines/
  • 加一个 Agent:去 digitalHuman/agent/core/ 按相同模式扩展,它还可以复用上面那些常规引擎组合而成
  • 全局开关:configs/config_template.yaml 统一管理各模块的支持列表与默认项

扩展的完整步骤和截图见 开发手册。

📖 求助入口和最新进展

  • 文档:部署说明、开发手册、常见问题
  • 社区:在 README 中扫码加交流群(备注 ADH)
  • 最新版 v3.0.0:新增 CozeAgent 接入,优化了沉浸模式的实时对话打断,并引入流式 ASR 引擎

两条命令,从空白页面到能语音对话的数字人。想给网站或产品加一个可交互的虚拟角色,先拉下来部署一个试试。

【免费下载链接】awesome-digital-human-live2dAwesome Digital Human项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-digital-human-live2d

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进