Google AI Edge Gallery 新增端侧语音识别与语音合成能力

2026年11月10日

今天，我们在 Google AI Edge Gallery 中推出端侧自动语音识别（ASR）和文本转语音（TTS）能力。在手机和可穿戴设备上与 AI 交互，语音往往是最自然的方式。紧凑型语音架构的最新进展，使得完全在设备端运行准确、多语言 ASR 和富有表现力的 TTS 模型成为可能，而且内存占用小、延迟低、完全离线。将这些轻量级语音模型与 Gemini Nano、Gemma 4 等端侧小语言模型（SLM）搭配，开发者就能构建出在用户说话时实时流式转写、并在本地合成自然语音回复的应用。

本次发布汇集了 Google 系统语音模型和开放权重生态两方面的重大进展：

Android：借助 ML Kit 实现更快、更准确的系统语音模型： 由 Google 最新的端侧语音模型驱动，ML Kit 能以 10 倍实时速度，对 100 多种语言进行极其准确的多语言转写。与之搭配的是少步扩散 TTS 模型，仅约 100 毫秒即可开口说话，并以最高 50 倍实时速度合成 24 kHz 音频。两个模型都已集成到操作系统中，不会给你的 APK 增加 0 MB 体积。
Web、桌面及其他平台：借助 MediaPipe Tasks 和 LiteRT 实现跨平台、开放权重的语音能力： 针对跨平台应用，我们优化了新的 .litertlm 模型语音包，包括 Parakeet-TDT 0.6B、PocketTTS 100M、Kokoro-82M 和 Phonon 31M。它们能在紧凑的内存占用下提供实时流式转写和低延迟语音合成，并与端侧 SLM 顺畅并行运行，不会出现算力争抢。

下面我们将介绍这条本地语音流水线如何支撑全新的XR（扩展现实）语言教师演示、如何升级 Google AI Edge Gallery 中的AI 聊天，以及你如今如何用这些 API 和模型进行开发。

用 XR 语言教师实现多模态语音辅导

旅行中学语言发生在真实世界里，常常是在地铁站、热闹的市场或国外，那里可能没有 Wi-Fi 和漫游数据。为了展示视觉、语言和语音模型如何100% 在手机上本地协同工作、无需网络连接，我们在 Google AI Edge Gallery 中构建了XR 语言教师演示。只需把摄像头对准不认识的物品或菜单，问一句“那是什么，我该怎么要一个？”，就能立刻听到用你的语言给出的解释，以及地道的当地语言发音。

完全在设备上完成看、说、学

实时视觉定位与流式语音输入： 把摄像头对准路牌、菜单或物品，然后大声提问。端侧 ASR 会将你的口头问题与摄像头画面一起实时流式传输给 Android 设备上的 Gemini Nano——或其他平台上的 Gemma 4——一次完成处理。
结构化输出实现双语 TTS 语码转换： 借助结构化输出 schema，模型用你自己的语言解释场景，同时单独标记外语短语，让 TTS 流水线能在句子中间无缝切换声音和口音，从你的母语切换到目标语言，并在屏幕上同步显示词汇卡片。

适配智能眼镜

推理在配对的手机上本地运行，因此同一套体验既能独立在手机上使用，也能自然延伸到免提智能眼镜上。想了解我们如何为智能眼镜改造 Language Teacher，欢迎观看我们最近在 Android Dev Summit 上的演讲：Building Audio-First Experiences for Intelligent Eyewear with Gemini Nano。

AI Chat 中的流式语音听写与朗读播放

除了 XR Language Teacher 展示之外，我们还将 ASR 和 TTS 直接集成到 Google AI Edge Gallery 的主 AI Chat 功能中，让 Gemini Nano、Gemma 4 等端侧 SLM 在移动场景下拥有自然、离线的语音交互界面。

AI Chat 语音输入与输出演示视频

句子同步播放与可配置的语音设置

模型管理中的 ASR 与 TTS 设置：在一个集中位置选择可用的 ASR 和 TTS 流水线、预设音色以及已下载的语言包。
朗读播放与实时句子高亮：开启“自动播放 TTS”，或点击任意回复上的扬声器按钮，即可调出悬浮的 TTS 工具栏，实时高亮当前朗读的句子，点击任意句子还能跳转过去。
聊天语音输出的参考实现：我们的开源代码库演示了如何剥离 Markdown 语法、跳过代码片段和表格等不朗读的内容块，并按句子调度合成，避免在 LLM 生成 token 期间出现算力和内存争用。

深入底层：用 ML Kit、MediaPipe Tasks 和 LiteRT 构建

Gemma 4 这类多模态模型可以直接处理音频输入，但我们仍提供模块化方案，用独立的轻量语音模型级联语言模型，以优化延迟并保持灵活性。根据目标设备和模型需求，我们在 GitHub 上的开源代码给出了 Android 端的优化推荐方案（使用 ML Kit），以及面向跨平台覆盖和开放模型支持的 MediaPipe Tasks 与 LiteRT 方案。

用 ML Kit 为旗舰 Android 设备构建

面向 Android 设备的开发者，ML Kit 的 GenAI 语音识别与文本转语音 API 提供了一条开箱即用、与平台深度集成的标准化路径。底层语音模型由 AICore 和 Google 的端侧语音服务管理，开发者无需自行管理模型下载，也不必担心 APK 体积膨胀，就能获得生产级质量。应用还能自动享受 NPU 和 TPU 后端（如可用）的硬件加速，以及无缝的后台模型更新。

ML Kit GenAI 语音识别 API：在用户说话时流式输出实时部分转写和最终转写，音频来源可以是设备内置麦克风，也可以是智能眼镜等外部音频流。我们最新的端侧 ASR 进展实现了覆盖 100 多种语言的高精度多语种识别（在 FLEURS 上词错误率为 8.0% 至 9.0%），转写速度比被转写的实时音频快 10 倍（每 3 秒语音约 300 毫秒），并将端到端语音翻译的等待时间缩短了 35% 至 44%。
ML Kit GenAI 文本转语音 API：由紧凑的少步扩散模型驱动，并在 NPU 上加速，端侧 TTS 约 100 毫秒即可开口，能以最高 50 倍实时速度生成自然的 24 kHz 语音，覆盖 8 种富有表现力的音色和 21 种语言区域。合成一段 27 秒的段落只需约 500 毫秒，同时相比传统自回归 TTS 模型，设备活跃功耗降低 50% 以上，并内置耳标（earcon）支持。

用 MediaPipe Tasks 跨平台构建

把 ASR 和 TTS 集成到跨平台应用，通常要处理底层音频分帧、语音活动检测（VAD）和复杂的解码流水线。MediaPipe Task 简化了这些工作：它在 iOS、macOS、Windows、Linux 和 Web 上提供统一、开箱即用的 ASR 与 TTS API，把手动预处理、音频流路由和平台特定的音频管理都封装进简单的高层接口：

MediaPipe 语音识别（ASR）Task：自动处理音频分帧、可配置的语音活动检测（VAD）和解码。支持实时流式、整句批量和混合转写模式（用户说话时实时输出词，语音结束后再精修整句），并开箱即用展示 Parakeet-TDT 0.6B 等开放权重模型。现在就在浏览器里试试！
MediaPipe 文本转语音（TTS）Task：提供开箱即用的合成接口，支持音色选择和低延迟流式音频输出，开箱即用展示开放权重模型，包括 PocketTTS 100M、Kokoro-82M 等多语言模型，以及 Phonon 31M 这类超轻量英语模型——在大多数设备和平台上，首音频时间（TTFA）不到 100 毫秒。现在就在浏览器里试试！

用 LiteRT 驱动跨平台语音与灵活的模型支持

在底层，ML Kit 和 MediaPipe Tasks 由 LiteRT 驱动，这是 Google 的高性能端侧 AI 推理基础设施。如果跨平台应用需要对语音处理或自定义模型架构做更细粒度的控制，也可以直接基于它来构建。

语音模型往往依赖多个子图和辅助资源，例如 ASR 的编码器/解码器子图和分词器，或 TTS 的音素化词典、音色嵌入和声码器。每个模型所需的全部组件都打包进单个 .litertlm 文件，方便部署。应用自带可直接使用的 .litertlm 模型，包括 Parakeet-TDT-0.6B-v3（多语言 ASR）、PocketTTS 100M（多语言 TTS）、Phonon 31M（超轻量英语 TTS）和 Kokoro-82M（多语言 TTS）。除此之外，拥有 1 万+ 关注者的活跃 Hugging Face LiteRT 社区还提供不断扩充的开放权重模型目录，例如用于 ASR 的 Whisper、Qwen3-ASR 和 Moonshine，或用于 TTS 的 Qwen3-TTS 和 Matcha。对于想要自定义实现或支持更多开放权重语音模型的开发者，LiteRT 提供了丰富的多模态模型示例帮助你上手，后续还会有更多。

立即开始

加入本地语音管线后，设备端小模型（SLM）不再局限于打字聊天界面，而能实现自然、语音优先的交互，随时随地可用，且完全离线。今天，所有构建模块都已就绪，你可以直接体验这些功能，或把它们集成到自己的应用中：

体验全新语音功能：在 Android 和 iOS 上下载最新的 Google AI Edge Gallery 应用，即可在自己的设备上试用XR Language Teacher 和启用语音的AI Chat。
探索并改造开源代码：查看 Google AI Edge Gallery GitHub 仓库中的参考实现，或者让你常用的编码智能体（例如 Google Antigravity）指向我们的 GitHub 仓库，快速把流式 ASR、双语 TTS 语码切换和句子同步播放管线改造到自己的应用中。
用 ML Kit、MediaPipe Tasks 和 LiteRT 开始构建：查阅 ML Kit GenAI 语音识别文档了解 Android 集成方式，使用 MediaPipe Tasks 获得开箱即用的跨平台 API，或参照 LiteRT 开发者指南，从 Hugging Face LiteRT 社区下载可直接运行的 .litertlm 包。你还可以在 Google Cloud 的 Developer Device Platform 上，用 200 多台真实物理设备测试并基准评估你的设备端语音管线。
观看 Android Dev Summit 演讲：查看我们的 Android Dev Summit 演讲录像，了解 Language Teacher 如何适配智能眼镜，并从管线构建过程中获取更多工程技巧。

致谢（按字母顺序）

我们特别感谢以下 重要贡献者 在本项目中的付出：

^{Alice Zheng, Ajay Dudani, Alex Kanaukou, Amy Zeppenfeld, Byungchul Kim, Cheng Yang, Chintan Parikh, Chris Parsons, Cormac Brick, David Chou, Dong Chen, Geonsun Lee, Glenn Cameron, Hriday Chhabria, Ian Ballantyne, Ireneu Pla, James O’Donnell, Jamieson Pryor, Jason Poon, Jenn Lee, Jianing Wei, Jing Jin, Jingxiao Zheng, Jingyu Shi, Karthik Thirumalai, Kristen Wright, Lu Wang, Marius Kintel, Matthias Grundmann, Miao Wang, Mogan Shieh, Na Li, Paul Hsia, Qiumin Xu, Ravi Shankar, Rishika Sinha, Ronald Wotzlaw, Sachin Kotwani, Sandeep Patil, Sebastian Schmidt, Shao-Fu Shih, Shuangfeng Li, Suril Shah, Tiger Souvannakoumane, Tzu-Ping Chen, Weiyi Wang, Wentao Tu, Yang Yang, Yi-Chun Kuo, Yishuang Pang, Yu-che Liu, Yu-hui Chen, Yuling Liang, Zhihao Yang, Zichuan Wei.}