IndexTTS – B 站推出的文本转语音模型，支持拼音纠正汉字发音

「index-tts-1.5」

链接：https://pan.quark.cn/s/61db196d8733

IndexTTS 是哔哩哔哩（B站）推出的一款工业级、可控性强的文本转语音（TTS）系统。它基于开源项目 XTTS 和 Tortoise 进行深度优化，融合了类 GPT 的生成式模型架构，能够将文本快速转化为自然、流畅、高保真的语音。

相比传统方案，IndexTTS 在中文处理方面表现尤为出色：具备拼音纠错、多音字消歧、长尾字发音优化、精细停顿控制等功能，极大提升了语音合成的自然度和准确性。

其核心采用字符与拼音的混合建模方法，并集成了最新的语音建模技术。性能方面，IndexTTS 在权威评测中表现亮眼——字词错误率（WER）低至 1.3%，扬声器相似性（SS）高达 0.776，主观音质评分（MOS）为 4.01，整体表现领先业内同类产品。

此外，IndexTTS 使用了大规模语音数据进行训练，包括 2.5 万小时中文音频 和 9000 小时英文语音，确保合成语音在内容和音色上的多样性与一致性。

主要功能亮点

• 拼音纠错与精准停顿：自动识别并纠正拼音错误，有效解决多音字误读问题；通过标点符号实现精细的停顿控制，使语音输出更具自然节奏感。

• 高音质输出：采用基于 Conformer 的条件编码器和 BigVGAN2 解码器，全面提升语音的音质与音色相似度，MOS 达 4.01。

• 多语言支持：目前支持中文与英文，未来将扩展至更多语言场景。

• 语音风格可控：支持零样本语音克隆，可模仿任意说话人风格生成语音。

技术架构解析

1. 混合建模：字 + 拼音联合训练

在中文语音合成中，IndexTTS 采用 字符与拼音混合建模 的方式，不仅能高效处理多音字和生僻字，还提升了模型对句子节奏和语调的控制力。

2. 高质量语音建模

系统集成了先进的语音处理模块：

• Conformer 条件编码器：融合 CNN 和 Transformer 结构，精准捕捉上下文语义与音色特征。

• BigVGAN2 解码器：实现高保真语音合成，提升自然度和人声还原度。

3. 零样本语音克隆（Zero-Shot Speaker Cloning）

IndexTTS 可在完全无目标语音样本的情况下，仅依赖说话人参考特征，即刻合成具备高度风格一致性的语音。

• 扬声器相似性（SS）：0.776

• 主观音质评分（MOS）：4.01 远超当前主流 TTS 系统。

4. 高效训练与快速推理

得益于模块化设计和高质量数据支撑，IndexTTS 支持快速训练与低延迟推理，训练过程稳定，适用于大规模部署场景。对比 XTTS、Fish-Speech、CosyVoice2、F5-TTS 等系统，IndexTTS 在自然度、内容一致性、语音克隆能力方面均处于领先水平。

项目开源地址

• GitHub 仓库： https://github.com/index-tts/index-tts

• arXiv 技术论文： https://arxiv.org/pdf/2502.05512

应用场景

• 内容创作与视频配音 快速生成自然语音，助力短视频、Vlog、纪录片等配音工作，提升创作效率。

• 有声读物与在线教育 提供高质量中英双语朗读服务，适用于电子书、儿童绘本、课程视频等教育内容。

• 智能客服与语音助手 支持快速适配多种语音风格，提升客服响应的自然度和多样性。

• 娱乐与虚拟角色语音 适用于游戏配音、虚拟主播、AI 歌手等新兴应用，为用户带来沉浸式互动体验。

• 无障碍辅助技术 为视障用户提供高质量语音辅助功能，如屏幕阅读器和语音导航服务。