ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

为什么土耳其语TTS一直缺这块拼图?alania-speech-captions-tr 与英文 voice-caption 数据集对比解析

为什么土耳其语TTS一直缺这块拼图?alania-speech-captions-tr 与英文 voice-caption 数据集对比解析

【免费下载链接】alania-speech-captions-tr

项目地址:https://ai.gitcode.com/hf_mirrors/cloud0day3/alania-speech-captions-tr
点击查看免费下载

alania-speech-captions-tr 是目前唯一的土耳其语 TTS 语音描述字幕(voice-caption)数据集:835,267 个土耳其语语音片段、约 2,398 小时,每段都配有"这句话说起来是什么样"的自然语言描述(英/土双语),并附带音高、语速、停顿、噪声等底层测量数据。本文对比它与英文 voice-caption 数据集的差异,讲清这套数据是如何炼成的、能解决什么问题,以及使用时的注意事项。

一、英文 TTS 早就有的"声音描述"数据

想让 TTS 模型做到"说人话",光有"音频 + 文字"是不够的,还需要第三样东西:这句话怎么说的描述——音调高低、语速快慢、停顿多少、是命令口吻还是描述口吻。

英文世界这几年陆续出现了这类数据集(E.T.APE、VoiceCraft、WavChat 等),它们把"说话风格"变成了模型可读的文本,直接支撑了两类热门玩法:

  • 指令跟随 TTS:输入"用低沉缓慢的声音、带一点疲惫感说话",模型照着念;
  • 声音描述 TTS:给一段目标声音的描述文字,模型复现类似音色气质。

可以说,voice-caption 数据已经成为"可控 TTS"的标配拼图。而土耳其语——一个 9,000 万级用户规模的语言——此前这块拼图完全空白。

二、土耳其语为什么一直没有这块拼图?

原因不复杂:缺的不是录音,而是"描述录音"的能力与工程。

障碍说明
风格标注依赖语言模型把"音高中偏低、语速偏慢"这类测量结果写成通顺的人话,需要强能力的 LLM 配合
测量管线要求高音高(F0)、音节率、SNR、混响、DNSMOS 等指标要逐段提取并分箱成标签
双语文本生态土耳其语内容需要专门的 ASR 与语言识别(LID)交叉验证

英文社区有成熟管线后很快补齐了这块;土耳其语直到 PatientDesk AI 为自己的 TTS 模型Alania-2服务,才第一次系统性补齐。这个仓库 alania-speech-captions-tr 就是那次工作的完整公开成果。

三、alania-speech-captions-tr 数据集概览

这个仓库包含 51 个 parquet 分片(如 data/train-00000.parquet、data/train-00050.parquet),核心规格如下(详见 README.md):

维度数据
片段数835,267 段,来自 15,138 条 YouTube 录音(YODAS v3 土耳其语部分)
总时长2,398 小时(中位片段长度 9.9 秒),其中 1,395 小时为完整 ≥16 kHz 宽带
说话人约 29,000 个说话人簇
字幕537,395 条去重后的英文描述;70% 是"描述"(A medium-pitched female voice speaks at a moderate pace…),30% 是"指令"(Speak slowly with a few short pauses…)
性别占比72% 男 / 19% 女 / 9% 未知(按小时计,反映土耳其语 YouTube 的真实分布)

💡 设计亮点:每条片段同时有caption_en和caption_tr两个语言的描述,caption_style字段区分"描述"还是"指令",正好覆盖上面两种 TTS 玩法。

示例字幕(来自 README.md):

A medium-pitched female voice speaks at a moderate pace with even energy; the recording sounds a bit muffled, like a phone call.

Use a high, calm voice with monotone intonation and speak slowly, with a few short pauses; slight background noise.

每行数据还包含大量可机读字段(完整列说明见 README.md):start/end(该片段在源录音中的起止秒数)、f0_median_hz(中位音高)、SNR、混响时间、带宽、DNSMOS 质量分、pace_label/pitch_label/noise_label等描述标签,以及asr_disagrees_with_youtube(ASR 转写与 YouTube 字幕明显不一致的标记,约 8% 片段为 true,想要更干净文本可直接过滤)。

四、制作流程:从 9,216 小时原始音频到 2,398 小时精品

这个数据集的"炼金"过程大致分五步(完整说明见 README.md):

  1. 筛选:YODAS v3 土耳其语原始 9,216 小时 → 语音活动检测切分 + 土耳其语识别(VoxLingua107,用 Whisper 交叉验证)→ 去除音乐与唱歌(AST)→ 裁切检测、带宽与 DNSMOS(≥ 2.4)质检,只保留约 30% 的时长;
  2. 转写:用自研土耳其语 ASR「Duyu」逐段转写;与 YouTube 字幕强烈不一致的片段会打上asr_disagrees_with_youtube标记;
  3. 测量:提取中位 F0 及其离散度(相对说话人自身基线)、音节率、发音速率、停顿、SNR、混响时间、响度、带宽、DNSMOS,并用 wav2vec2 分类器预测性别;
  4. 标签化:测量值分箱成人类可读标签(pace_label、pitch_label、noise_label…),还包含"比该说话人平时更快"这类相对自身基线的比较;
  5. 写字幕:由 Qwen3-32B 把标签渲染成每条片段各一条的英文 + 土耳其语自然语言描述。LLM 只在识别"明显的言语行为"(道歉、感谢、抱怨)时才参考转写,写入content_tone(96% 片段为 none);并且严禁字幕引用转写内容——任何与转写连续共用 4 个词的候选字幕都会被拒收,保证"描述"只描述怎么说,不泄露说了什么。

这套"测量 → 标签 → LLM 渲染 + 防引用校验"的管线,正是英文同类数据集的核心方法论,如今第一次有了土耳其语版本。

五、与英文 voice-caption 数据集的关键差异

对比维度英文 voice-caption 数据集alania-speech-captions-tr
语言英文土耳其语(描述为英/土双语)
时长规模数十至数百小时居多2,398 小时,835,267 段
音频分发多数随仓库直接提供不含音频,每行指向 espnet/yodas3 中精确的start~end区间,需自行取回裁切
性别均衡部分专门做了均衡采样如实保留源域分布(72% 男声),不做人为平衡
风格字段多为单一描述文本caption_en+caption_tr+caption_style(describe/instruct)+content_tone四层
可复现性标注来源不一附带全部底层测量列(F0、SNR、DNSMOS…),可验证、可自定义重新分箱
许可各异字幕/标签/测量为 CC BY 4.0;transcript遵循源音频的 CC BY 3.0 与 YODAS 署名要求(见 LICENSE.md)

最大的差异点在于音频的分发方式:数据集本身是纯文本 + 测量,音频留在上游 YODAS 仓库中。这样做的好处是仓库体积可控、许可边界清晰;代价是使用前必须多一步"按行取音频"。README 中给出了现成方案(见 README.md):加载本数据集得到某行的yodas_shard/yodas_id/start/end后,从 espnet/yodas3 下载对应的data/tr/audio/{shard}.tar,取出该录音再按start:end裁切即可。

六、拿到数据后能做什么

  1. 训练指令跟随的土耳其语 TTS:用 30% 的instruct风格样本做指令-语音配对训练,实现"用 X 方式念这句话";
  2. 训练声音描述 TTS / 零样本音色控制:用 70% 的describe风格样本,让模型从描述文字还原说话气质;
  3. 土耳其语韵律研究:直接基于f0_median_hz、停顿、音节率等测量列做统计,无需重新标注;
  4. ASR 数据清洗:transcript列 +asr_disagrees_with_youtube标记可直接用于训练或质检土耳其语 ASR。

七、使用前的诚实提醒 ⚠️

README 的"Limitations and responsible use"一节(README.md)写得相当坦率,新手尤其要记住:

  • 所有字幕、标签、转写、性别都是自动生成的,存在重叠人声、背景音乐、极短片段等场景下的错误;
  • 数据72% 是男声,只用它训练的模型会在女声上偏弱;
  • 内容是日常土耳其语 YouTube(新闻、政治、游戏、课程、vlog),未按主题筛选,不代表任何立场;
  • 录音者是真实用户,不要用它识别、画像或克隆特定说话人的声音;
  • "高音""低音"等描述是相对的——相对本语料库的土耳其语,也相对说话人自身的音域。

写在最后

alania-speech-captions-tr 补齐的不只是一份数据,而是土耳其语可控 TTS 的入场券:它把英文社区验证过的"测量 → 标签 → LLM 描述"方法论完整移植到土耳其语,并且规模(近 2,400 小时)远超多数英文同类项目。如果你关注非英语语音合成的机会窗口,这套数据的工程管线本身也值得逐行研读。

【免费下载链接】alania-speech-captions-tr

项目地址:https://ai.gitcode.com/hf_mirrors/cloud0day3/alania-speech-captions-tr
点击查看免费下载
上一篇:免费 iOS 侧载实操指南:用 iloader 完成 SideStore 安装的完整路径
下一篇:Zabbix 模板实战:通过 SNMPv3 监控 Alcatel-Lucent Enterprise OmniSwitch AOS 8.x 虚拟堆叠交换机

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进