Raon-OpenTTS-1B核心架构剖析F5-TTS DiT与Flow Matching如何实现零样本音色克隆【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1BRaon-OpenTTS-1B 是 KRAFTON 发布的开源零样本文本转语音TTS与音色克隆模型基于 F5-TTS 架构采用扩散 TransformerDiT Flow Matching 技术路线仅需几秒参考音频即可克隆说话人的音色、情感与口音。本文带你完整拆解它的核心架构原理、关键配置参数与训练细节零基础也能看懂。Raon-OpenTTS-1B 是什么一句话概括一个 10.5 亿参数、完全开源权重 训练数据的零样本 TTS 模型效果可媲美使用数百万小时私有数据训练的闭源系统。亮点说明 零样本音色克隆给一段参考音频 文本即可生成同音色语音无需微调 完全开放模型权重 615K 小时训练数据全部公开可复现研究 性能对标 SOTA在 Seed-TTS-Eval、CV3-Eval 等基准中位列前二️ 全场景鲁棒在噪声、野声、情感表达等 4 类声学条件下平均表现最佳当前仓库包含的核心文件文件作用model_520000.pt训练 52 万步后的完整模型权重config.yaml架构与声学配置DiT 参数、mel 谱、声码器等vocab.txt自定义文本分词器词表F5-TTS 整体流水线一张图看懂 传统 TTS 需要文本对齐 逐字生成而 F5-TTS 走的是非自回归路线把 TTS 变成一道填空题[参考音频] [参考文本] [目标文本]→ 模型一次性生成整段 mel 谱 → 声码器还原波形具体到 Raon-OpenTTS-1B流水线分三步文本编码目标文本经 vocab.txt 自定义分词器转成字符级 tokenDiT 生成 mel 谱Diffusion Transformer 以参考音频为上下文一步式生成 80 通道 mel 频谱16kHzhop256HiFi-GAN 声码器把 mel 谱还原成可听的 16kHz 波形采用 LibriTTS 预训练的 HiFi-GAN 16k。整个过程不需要文本-音频显式对齐也不需要任何微调——这就是零样本的来源。DiT扩散 Transformer架构全解 ⚡扩散模型Diffusion的核心思想把语音看成从纯噪声中逐渐显影的图片训练模型学会一步步去噪推理时就从噪声出发还原语音。DiTDiffusion Transformer则用 Transformer 作为去噪骨干网络替代早期扩散模型的卷积 U-Net拥有更强的建模能力。Raon-OpenTTS-1B 的 DiT 关键参数来自 config.yaml参数取值通俗含义dim1408模型宽度即特征向量维度depth28堆叠 28 层 Transformer 块模型深度heads24注意力头数决定并行捕捉多细粒度的语音关系ff_mult4前馈网络隐层为 dim 的 4 倍conv_layers44 层卷积提供位置信息弥补注意力对位置不敏感text_dim512文本分支特征维度norm_typermsnorm采用 RMSNorm 归一化训练更稳定几个值得注意的设计点卷积 注意力混合F5-TTS 特意在 DiT 中加入conv_layers: 4因为纯注意力机制对时间顺序不敏感而语音恰恰是强时序信号卷积层补上了位置感知这块短板。文本与音频双流输入文本经 512 维编码后与 mel 序列拼接模型通过上下文学习in-context learning听懂参考音频里是谁在说话从而让生成语音继承其音色。非自回归一次成型整段 mel 谱并行生成而非逐 token 输出因此推理速度快、且天然避免了自回归模型越读越偏的漂移问题。Flow Matching为什么它比传统扩散更快更准 传统扩散模型要从噪声磨出清晰语音往往需要上百步迭代慢且容易糊。Flow Matching流匹配换了个思路类比想象噪声点到清晰语音点之间的一条直线公路模型学习的是沿这条直线的速度场每点该往哪走、走多快而不是逐步试探的去噪方向训练对噪声 ↔ 真实 mel 谱做线性插值让模型预测连接两者的方向向量条件流匹配 CFM推理沿学到的流场积分前进步数大幅减少F5-TTS 系模型约几十步即可合成既快又准。这正是 Raon-OpenTTS-1B 能在零样本 高质量 低延迟之间取得平衡的关键。零样本音色克隆是如何工作的 ️模型输入格式可以理解为这个人参考音频说了这句话参考文本现在请用同样的声音读出这句新文本目标文本。由于参考音频与参考文本共同构成语音-文本对模型会同时迁移音色声线、音高特征情感激动、平静等语气口音与说话风格如美语、带口音的英语官方演示覆盖背景噪声、情感、说话风格、口音四大挑战场景即使在嘈杂参考音频下也能稳定克隆这主要得益于其大规模高质量训练数据见下文。训练数据与训练细节 ️项目详情训练语料Raon-OpenTTS-Core510.1K 小时英语语音11 个公开数据集数据来源从 615K 小时 Raon-OpenTTS-Pool 中用 DNSMOS WER VAD 三重排名过滤训练步数52 万步对应 model_520000.pt硬件48 张 NVIDIA B200 GPU优化器AdamW峰值学习率 1e-45 万步预热线性衰减梯度裁剪范数 1.0声码器HiFi-GANLibriTTS 16kHz 预训练数据质量是效果上限51 万小时经过严格质量筛选的精粮胜过未过滤的海量粗粮这也是它能以 1B 参数比肩更大闭源模型的重要原因。基准成绩真能打吗 Seed-TTS-EvalWER 越低越好SIM 越高越好模型WER (%) ↓SIM ↑人类真人2.140.734F5-TTS (0.3B)2.040.671Raon-OpenTTS-1B1.780.749CV3-Eval 与 Raon-OpenTTS-EvalWER 与 SIM 在多个榜单中取得第一尤其在噪声、野外、表达性场景下整体 WER 仅 2.81%显著领先同级开源模型。WER词错率用 Whisper 反向识别生成语音衡量说得准不准SIM说话人相似度用 WavLM/ERes2Net 衡量像不像那个人。如何获取模型权重 本仓库即为模型权重仓库推理代码与完整使用说明可参考 KRAFTON 官方开源项目。若需 clone 仓库git clone https://gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B常见问题 FAQ ❓Q1它支持中文吗目前版本基于 615K 小时英语数据训练面向英语场景。Q2零样本到底零的是什么零样本 无需针对目标说话人提供任何训练或微调仅凭推理时的一段参考音频即可克隆。Q3可以商用吗仓库采用CC BY-NC 4.0许可仅限非商业用途商用需另行授权。Q4DiT 和 Flow Matching 哪个更重要DiT 是骨架决定模型容量与结构Flow Matching 是引擎决定生成速度与质量。两者结合才有了又快又准的零样本 TTS。小结Raon-OpenTTS-1B 用 DiT 的强表达力 Flow Matching 的高效采样 51 万小时精筛数据把开源 TTS做到了闭源水准。理解 F5-TTS 的填空式生成范式基本就掌握了当前零样本语音克隆技术的主流方向。【免费下载链接】Raon-OpenTTS-1B项目地址: https://ai.gitcode.com/hf_mirrors/KRAFTON/Raon-OpenTTS-1B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考