Zyphra 发布开源 TTS 模型 ZONOS3-Mini，可在手机浏览器实时运行

隆重推出 ZONOS3-Mini：一款紧凑的零样本语音克隆文本转语音（TTS）模型，性能达到业界领先水平，并具备领先的语音控制能力，可在设备端实时运行。

引言

我们很高兴地宣布推出 ZONOS3-Mini，这是我们新一代的实时文本转语音（TTS）模型，支持高保真语音克隆。ZONOS3-Mini 是一个稀疏混合专家（MoE）模型，激活参数 1 亿、总参数 8 亿，采用 Apache 2.0 许可。我们使用 112 块 Nvidia H100 训练 ZONOS3-Mini，耗时 2.5 天。你可以在 Zyphra Inference 上访问它（由 Nvidia H200 提供算力），也可以在自己的 GPU 上运行，或直接在浏览器中于设备端使用。

在 ZONOS2 上，我们已经证明：通过为 TTS 采用 MoE 架构，可以缓解质量与推理性能之间的取舍。但 ZONOS2 为此付出了 8B 参数的代价，其编解码器运行在 86 Hz，限制了模型的部署。ZONOS3-Mini 通过在技术栈的多个层面实现大幅效率提升，绕开了这些限制。

得益于其小巧的体量，ZONOS3-Mini 可以运行在众多设备上。我们发布了面向浏览器的 WebGPU 运行时、面向服务器的 SGLang 和 vLLM 运行时，以及通过 GGML 提供的众多其他运行时。ZONOS3-Mini 可实时运行：在 Pixel 9 的浏览器中，首包音频时间（Time To First Audio）低于 570 ms；在 M3 MacBook Air 上低于 150 ms。

此外，推理服务器还支持对身份、口音、音质、情绪和表达方式进行控制。词级表达控制一方面通过在流式生成过程中监控对齐注意力头来实现，另一方面可在生成后借助编辑模型单独完成。我们鼓励你试听相关章节中的示例。

ZONOS3-Mini 的模型权重已在 Hugging Face 上发布，我们的运行时可在 GitHub 上获取。

模型对比

我们使用全新的 ZTTS2-Eval 基准（下文将详细介绍），对 ZONOS3-Mini 与多款业界领先的闭源和开源模型进行了定性比较。这些结果涵盖了模型生成内容的可懂度、音质、语音克隆表现和韵律变化。

我们认为，评估 TTS 模型的最佳方式是定性地试听生成的样本。为此，我们提供了一系列 ZONOS3-Mini 样本，以及来自同类开源和闭源 TTS 模型的输出：

定性对比

预告片配音

“我绝不能过拟合。过拟合是模型杀手。过拟合是那微小的损失，却带来彻底的泛化失败。我将直面我的损失。我将允许梯度反向穿过我、流经我。当它完成传播，我将转动验证之眼，看清它的路径。损失所到之处，必有收敛。唯有学到的表征留存。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

《公园与游憩》男

“你泄露测试集？直接进监狱。不做验证，什么都没有。数据科学家，我们专门给数据科学家准备了监狱。过拟合？进监狱！欠拟合？也进监狱！过拟合、欠拟合。你归一化了训练数据却没归一化测试数据？马上进监狱。你在排行榜上调超参数？信不信由你，进监狱！明明只是逻辑回归你却叫它 AI？进监狱！决策树就能解决的问题你偏要用神经网络？进监狱！忘了设随机种子？进监狱！设了种子却没记录实验？也进监狱！在不平衡数据集上说‘模型准确率 99%’？直接进监狱！上线却不监控漂移？立刻进监狱。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

Dwarkesh

“我觉得有意思的是，它已经没有这类模型那种合成感、那种敷衍的腔调了。感觉真的像在跟人说话，对吧？而且 M.O.E 这套东西可能确实起了很大作用。你能感受到一个大得多的模型，同时又有着出色的实时性能。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

定量对比

ZONOS3-Mini TTS Pareto Frontier — ZONOS3-Mini 与同类开源 TTS 模型在延迟（TTFA）和吞吐量（tok/s）上的帕累托前沿。

控制示例

音色设计

每组对比中，A、B、C 使用完全相同的文本。这 15 个样本在嵌入模式下使用同一位旁白参考音色，采用中性表达。性别和音色质感两组使用种子 27182，其余各组使用种子 2027。只有列出的设计控制项发生变化。这些设置是生成目标；感知特征和说话人一致性应通过试听来评估。

1. 同一说话人，三种口音

“我把车停在水边，就在咖啡店过去一点。四点半之后我在那儿等你。”

注意听发音的变化，同时音色仍能辨认出是同一位说话人。英格兰控制项用于近似模拟南英格兰英语目标。

通用美式英语

中性基础音色

南英格兰英语目标

british1.5

澳大利亚英语

australian1.5

Accent map with the original voice marked, no accent steering applied — A通用美式英语

Accent map steering toward England at british 1.5 — B南英格兰英语目标

Accent map steering toward Australia at australian 1.5 — C澳大利亚英语

2. 同一音色，不同年龄

“我在楼上的箱子里找到了那台旧相机。里面还剩一张照片，那咱们就拍张好的。”

注意听音色质感和共鸣带来的感知年龄变化。这些年龄是目标值，不是实测年龄。

青年目标 25 岁

age−1.5

中年目标 45 岁

中性基础音色

老年目标 75 岁

age+1.5

Age control moving younger to age -1.5 — A青年目标 25 岁

Age control at the neutral base voice — B中年目标 45 岁

Age control moving older to age +1.5 — C老年目标 75 岁

3. 性别呈现

“下一班火车十分钟后开。我们刚好够时间买杯咖啡再找座位。”

注意听共鸣、质感和音高的变化，同时基础说话人、口音和表达方式保持不变。中间档性别设置的目标是中性化呈现。

男性化

gender−1.5

中性化

gender−1

女性化

中性基础音色

Gender control moving to gender -1.5 — A男声

Gender control moving to gender -1 — B中性

Gender control at the neutral base voice — C女声

4. 音质

“木盒子在最上层架子上，绿色瓶子和黄铜小钟旁边。”

注意普通说话音量下音质的适度变化。柔和音质接近气声；没有专门的气声控制。

清晰平滑

中性基础音色

轻微气声近似

柔和+5

轻微沙哑

沙哑+5

Texture radar at the neutral base voice — A清晰平滑

Texture radar moving toward soft at +5 — B轻微气声近似

Texture radar moving toward raspy at +5 — C轻微沙哑

5. 用多个控制项组合角色

“地图到这里就结束了。翻过那道山脊，就得靠我们自己找路了。”

注意年龄、性别呈现、口音和音质是否共同呈现出三种截然不同的角色选择。

年轻澳大利亚女声

年龄−1.5
明亮+2.25
澳大利亚口音1.5

中年美国男声

性别−1.5
低沉+3

年长英国女声

年龄+1.5
柔和+2.25
沙哑+1.5
英国口音1.5

Cast A identity: age moving younger to -1.5 — A角色

Cast A accent: steering toward Australia at 1.5 — A口音

Cast A texture: bright moving to +2.25 — A音质

Cast B identity: gender moving to -1.5 — B角色

Cast B accent: original General American, no steering — B口音

Cast C identity: age moving older to +1.5 — C角色

Cast C accent: steering toward England at 1.5 — C口音

Cast C texture: soft +2.25 and raspy +1.5 — C音质

表达控制

这 15 个样本保持旁白参考说话人和口音不变。耳语片段组使用种子 22361；其他表达组使用种子 2027。除非指定了词语片段，否则控制整句表达。每组 A/B/C 使用相同文本，便于直接比较表演变化。

6. 在片段上耳语

“我没说她拿了钥匙。”

B 针对“我没说她”和 C 针对“她拿了钥匙”进行局部耳语控制（+4）。中性版本使用相同句子和种子。

中性

中性基础音色

开头耳语

针对“我没说她”

耳语+4

结尾耳语

针对“她拿了钥匙”

耳语+4

7. 同样的话，三种情绪意图

“你回来了。我还以为你不会来。我在这儿等了一整晚。”

注意对同一情境的不同演绎。这些是情绪目标；控制项并不保证特定情绪，也不保证语速和投射感完全独立变化。

温暖的宽慰

高兴+3.5
唤醒度+1

克制的愤怒

愤怒+3.5
唤醒度−1

紧张的忧虑

害怕+8

8. 保持清晰的同时调整语速

“下一班列车七点三十从四号站台发车。请在登车前准备好车票。”

注意在保留每个词的前提下呈现清晰的速度范围，尤其是站台号和发车时间。语速控制也可能影响响度和音高。

缓慢从容

语速−2

日常语速

中性基础音色

快速轻快

语速+2

9. 投射感：从近处到房间另一头

“你能听到我吗？我就在这儿，门旁边。跟着我的声音走，我会等你。”

注意听呼吸、共鸣、发声力度以及响度的变化。整段音频的情绪目标保持平静。

轻柔亲密

投射−3

对话式投射

中性基础音色

隔屋呼唤

投射+3

10. 生动度：从克制到活泼

“盒子里有一把银钥匙、一张折叠的地图，还有一个小门铃。我自然按了下去。”

注意听音高变化、节奏趣味和富有表现力的措辞是否增强。生动度调节也会影响音高水平和时长。

克制

活泼−8

自然讲故事

中性基础音色

高度生动

活泼+8

训练与架构细节

在 ZONOS3-Mini 上，我们在编解码器、架构和说话人编码器层面都做了大幅改进。

第一项重大改进在表示层面。Descript Audio Codec（DAC）虽然保真度极高，但极难建模，而且帧率高达 86 Hz，限制了实时语音生成。为解决这些问题，我们训练了自己的编解码器 Zyphra Audio Codec 1（ZAC-1）。在相近的数据约束下，用 ZAC-1 训练的模型词错误率比用 DAC 训练的模型降低 10 倍，同时声学相似度更好。与 S1-DAC、MOSS v2 等主流 TTS 编解码器相比，它在更高压缩率下取得相当的结果，或在相近压缩率下取得更好的结果。这得益于它为 TTS 主干模型提供了更利于建模的表示。

第二，我们整合了 LLM 领域发展出的架构改进。ZONOS3-Mini 的序列混合器采用 Gated DeltaNet（GDN）与全局注意力 3:1 的混合结构，帮助我们在更长上下文长度下实现更强性能和更高吞吐量。我们还集成了潜在 MoE、Q balancing 和 Attention Residuals，在我们这一模型规模下显著提升了性能。

第三，我们把声音表示从 Qwen3-TTS 说话人编码器换成了 MECT-B2 说话人验证模型。这既提升了下游说话人相似度，也让说话人操控更易处理。ZONOS3-Mini 支持两种说话人条件模式。第一种模式在预训练阶段就用上下文中的单独片段从头训练，输出更自然，代价是不能精确复制韵律。第二种模式使用目标片段的直接声音表示，在预训练后经过一个短阶段微调。

最后，我们引入了两个后训练阶段，先使用直接偏好优化（DPO），再使用 Group Relative Policy Optimization（GRPO）来增强鲁棒性。

评估

继此前发布 ZTTS1-Eval 之后，我们现在发布 Zyphra TTS Evaluation v2（ZTTS2-Eval）。ZTTS2-Eval 将 ZTTS1 的干净集扩展到 35 种语言，将真实场景集扩展到 20 种语言，且每种语言的样本数都更多。在低资源语言以及 Qwen TTS 模型占优的英语上，我们用 Whisper Large v3 补充 Qwen3-ASR。ZTTS1-Eval 中使用的 TTSDS2 韵律指标已被取代，改用新的节奏和音高分布匹配指标，以及调整后的 Masked Prosody Model 嵌入距离，并加入打乱输入的下限，从而扩大了模型之间的跨度范围。

随着指标数量的增加，尤其是跨语言和跨条件的指标，我们基于 Epoch Capability Index，采用项目反应理论对 420 个项目（指标 × 测试集 × 语言）建模，每个项目都有各自的难度和斜率，据此推出了全新的 Zyphra TTS Capability Index v1。ZONOS3-Mini 在开源模型中排名第一，紧随其后的是 Fish S2 Pro 和 MOSS TTS v1.5。

可控性

除了业界领先的可懂度和说话人相似度，ZONOS3-Mini 还能对说话人身份和表达方式进行广泛控制。我们的控制维度覆盖年龄、性别、口音和音质等身份特征，通过说话人嵌入向量实现，并针对口音专门使用任务向量。语速、情感、投射感和生动度等表达控制则通过激活引导（Activation Steering）实现。除了在话语层面进行引导，我们还利用注意力中学习到的对齐头，在词级别上引导表达。此外，我们基于 VoiceCraft 方案发布了一个编辑模型，让用户能够像普通生成一样无缝修改句子，并享有同样的控制能力。

推理

为了服务 ZONOS3-Mini，我们通过 SGL 提供首日支持。此外，我们还发布了原生 C++/ggml 运行时以及 WebGPU 运行时，让 ZONOS3-Mini 可以运行在从顶级服务器 GPU 到多年前的老款手机等各种设备上。