ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

让Agent会作曲:huashu-motion的ABC乐谱作曲家模式,配乐全在本机生成零API费用

让Agent会作曲:huashu-motion的ABC乐谱作曲家模式,配乐全在本机生成零API费用

【免费下载链接】huashu-motion

让你的agent一键直出商业级产品宣传片:会作曲,能指着画面改。Commercial-grade launch films by your coding agent — point at the frame to change it.

项目地址:https://gitcode.com/gh_mirrors/hu/huashu-motion
点击查看免费下载

huashu-motion 是一个让你用 Agent 一句话直出商业级产品宣传片的开源项目,它的「作曲家模式」让 Agent 用 ABC 乐谱这种纯文本格式手写配乐,再由本机程序演奏成真实乐器的声音——全程不调用任何收费 API,零接口费用。本文带你了解这套「先写谱,再拍片」的本地作曲流水线是怎么工作的。

为什么「写谱」比「生成音乐」更适合宣传片

大多数 AI 配乐工具的做法是「丢个 prompt,出段音乐」,但宣传片有个硬性要求:音乐的起伏必须和画面卡点——开场钩子在哪、画面在哪一拍爆发、logo 在哪个瞬间落下,配乐得精确对上这些时刻。

作曲家模式的做法反过来:Agent 先看懂片子,像配乐师一样写出乐谱,谱里直接埋上对齐画面的标记。乐谱是纯文本(ABC 记谱法,X:1、Q:1/4=128这种头加音符),既方便 Agent 读写,也方便你肉眼审查——谱不对?直接在文本里改音符,不用重跑任何模型。

作曲家模式的完整流程

整个流程写在 skill 的方法文档里(sound.md),Agent 会按四步走:

1. 给片子「打点」(Spotting)

不是每个切点都要音乐伺候。Agent 只挑 3–5 个关键瞬间:第一帧的钩子(hook)、转折(turn)、屏息(stop)、高潮揭示(drop/reveal)和 logo。其余的切点让画面顺着音乐自然流动。同时定下速度(bpm):沉稳的品牌 80–100,科技感强一点 100–125。

2. 写 ABC 乐谱

谱子直接写在片子的index.html里,放在时间轴旁边:

X:1 T:Product · launch cue M:4/4 ← 4/4 拍 L:1/8 ← 基本音符为八分音符 Q:1/4=128 ← 128 BPM K:Em ← E 小调 V:PLK inst=synpluck gain=0.6 !mark:hook! !mf! E/B/e/B/ G/B/e/B/ E/B/e/B/ G/B/e/B/ | V:DR inst=drums kit=pop !mf! [^C,^F,,]^F,, [D,,^F,,]^F,, ^F,,^F,, [D,,^F,,]^F,, |

每个V:是一条声部:inst=piano是三角钢琴、inst=strings是弦乐组、inst=drums kit=pop是录音鼓组。谱子里还能用装饰记号写「剪辑手法」:

  • !mark:hook!— 对齐画面场景的同步标记
  • !hit!— 高潮重击(impact + 低频 sub drop)
  • !pp!…!ff!、!crescendo(!…)!— 力度与渐强
  • !rit(!…)!— 渐慢约 30%;!stop(!…)!— 磁带急停;!filter(!…)!— 混响从闷到亮的推进感

3. 让画面踩在谱子的格子上

如果片子是陪着谱子一起建的,Agent 会用OM.music({ bpm })把时间轴钉在谱子的速度网格上,场景切点全部落在音乐节拍上,对齐误差是 0%。

4. 对齐、渲染、检查

运行om sound后,程序把谱子里的标记和画面场景逐一对上,并打印对齐报告:每个标记落在几秒、两段之间的速度弯折了百分之几。某段弯折超过 8%?说明那段小节数没数对,加删一小节就好,而不是硬拧速度——这种「乐理上对」的判断正是写谱相比随机生成的优势。

零 API 费用:声音全部在本机现场生成

om sound的原理是(见 sound.js 开头的注释):加载片子的index.html,读出它声明的场景、音效点和乐谱,然后用纯 JS 的 DSP 代码把谱子「演奏」出来——没有网络、没有采样库订阅、没有任何 API 调用。同一份源码永远得到同一个文件,改了时间轴重新渲染,配乐自动跟着重生成。

音色有两种:

音色来源说明
合成音色(默认)本机 DSP 实时合成装完即用,零额外下载
真乐器采样om samples build一次性下载三角钢琴、弦乐组、鼓组,约 55MB,CC0 / CC-BY 开源授权

装上采样包后,弦乐组每个音还会被加倍、错开 4 音分 14 毫秒并左右镜像,一个声部听起来像一排演奏者而不是一个采样(composed.js 里的section())。

乐谱的解析和演奏引擎是 composer.js:速度图(含渐慢、延长记号)、力度到速度值的映射、旋律提前几毫秒于伴奏、延音踏板按和声踩放——这些都是「人演奏」的细节。

三份带注释的示范谱,直接照着抄

仓库里附了三份完整、逐小节注释的示范谱,覆盖三种最常见的发布片配乐形态,Agent 写谱前会先读最接近的那份:

  • first-light.abc —钢琴独奏到全乐队:一段主题动机,渐强、在属和弦上屏息,揭示瞬间升调一个全音,动机结尾变成「声音 logo」。适合走心、高级感的发布片。
  • four-rooms.abc —给已剪好的片子配乐:7 个场景只卡 4 个点,有一小节改成 3/4 拍而不是拧速度,是「谱子如何贴合既有画面」的范例。
  • signal.abc —科技快拍:第一小节就有鼓,半速副歌、stutter 转调、过滤推进到磁带急停,半小节静默,然后 drop。每行注释里都写着实测的分段响度(hook −16.5dB → drop −13.9dB)。

这三份谱本身也是最好的 ABC 教程:注释解释了每个乐句在「说什么」,比如signal.abc里那句「drop 前一拍的小节,是全片最重要的空小节」。

改画面,配乐自动跟得上

片子做完不是终点。huashu-motion 的编辑器支持「指着画面改」:按 C 在画面上点一下,写下「这段节奏太快了」,Agent 就只改那一处。

时间轴一变,下次om render导出前会自动重跑配乐生成,谱子的标记重新对齐新画面——你不用手动同步音乐。最终响度也有工程标准:音乐 −18 LUFS、母带 −14 LUFS(正好是主流社媒平台归一化的位置)、峰值限在 −1.5 dBFS。Agent 虽然「听不见」,但om sound会打印每段能量曲线,让它用数据检查起伏是否对。

上手只需要三步

  1. 安装:一行命令npx skills add alchaincyf/huashu-motion(Claude Code、Codex 等支持 Agent Skills 协议的 agent 都能装);
  2. 环境:Node 22+、Chrome、FFmpeg,缺什么跑om doctor就知道;
  3. 开口:跟 Agent 说「给我的产品做一支 30 秒发布片,要作曲家模式配乐」——它会写谱、演奏、对齐、渲染,配乐成本为零,唯一花掉的是你 agent 的 token。

方法细节(力度记号全表、乐器清单、口播让位逻辑)都在 sound.md,导演层怎么设计能量曲线在 rhythm.md,想深挖 ABC 写法就把三份示范谱打开对着看。

【免费下载链接】huashu-motion

让你的agent一键直出商业级产品宣传片:会作曲,能指着画面改。Commercial-grade launch films by your coding agent — point at the frame to change it.

项目地址:https://gitcode.com/gh_mirrors/hu/huashu-motion
点击查看免费下载

相关推荐

上一篇:如何5分钟内搭建自己的IP地理位置查询服务:freegeoip实战教程
下一篇:把"3天前"变成精准时间:Boss Show Time 让招聘网站显示真实发布时间,3 分钟免费上手

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进