Sierra 发布 𝜏-Entity 基准,检验语音智能体能否准确采集姓名、电话等实体信息
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
技术方向
AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
196 条精选近 30 天 13 条共收录 1,493 条
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Google Developers Blog 发布教程,讲解如何用开源 ADK 与 gemini-3.8-live 构建不出现冷场的语音智能体,核心是非阻塞工具调用。
推荐理由:Google 官方教程给出 ADK 非阻塞语音工具的两种模式和实测数字,可迁移到自己的 Gemini Live 语音智能体开发。
蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-tts,包含 0.5b dense 和基于 Ling V3 的 tiny(7.9B 总参数、1.3B 激活)两个语音生成模型,MIT 协议开源,权重可在 Hugging Face 和 ModelScope 下载。
推荐理由:官方仓库给出两版模型的榜单名次、完整任务列表和部署细节,读者可据此评估其在多语言与副语言控制上的实际可用性。
SpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型,在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1,同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者,这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型,价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点: ➤ 语音到语音指数:Grok Voice 3.0 以 86.9 首次亮相即排名第 1,领先于 GPT-Live-1(Astra,medium)的 83.2、Gemini 3.8 Live Extended Thinking(High)的 82.6 和 GPT-Live-1(Sol,low)的 80.1。它高于 Grok Voice 2.0 的 81.3(+5.6 分)和 Grok Voice 1.0 的 73.7(+13.2 分),后者发布至今还不到六个月。该指数平均了语音推理(Big Bench Audio)、智能体性能(Tau Voice)、Arena 偏好和任务成功率 ➤ 语音智能体 Arena:Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3,落后于 Gemini 3.1 Flash Live Minimal(1100)和 Gemini 3.8 Live(1088),领先于 GPT-Live-1(Sol,low)的 1057,并以 94.8% 的任务成功率排名第 1,为榜单最高,略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice:Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2,落后于 GPT-Live-1(Astra,medium)的 74.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 68.6% 和 GPT-Live-1(Sol,low)的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio:Grok Voice 3.0 在音频推理上得分 98.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度:在 Big Bench Audio 上,Grok Voice 3.0 的平均首次音频时间为 0.81 秒,明显领先于 GPT-Live-1(Sol,low)的 1.24 秒、GPT-Live-1(Astra,medium)的 1.34 秒和 Gemini 3.8 Live Extended Thinking(High)的 1.35 秒,但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本:Grok Voice 3.0 的输入音频成本为每小时 $4.80,与 Grok Voice 2.0 相同。这高于 GPT-Live-1(Sol,low)的 $4.47 和 Gemini 3.8 Live Extended Thinking(High)的 $3.50,低于 GPT-Live-1(Astra,medium)的 $5.83,并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️
推荐理由:作者引用第三方评测数据,读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。
xAI 发布 speech-to-speech 模型 Grok Voice 3.0,在 Artificial Analysis 的 Speech-to-Speech Index 以 86.9 分排名第一,时延低于一秒。
推荐理由:官方发布给出多项第三方基准分数、时延和 API 定价,读者可以据此评估它在语音智能体场景的性价比。
推荐理由:由当事方宣布英国上议院首次有议员用 AI 重建嗓音演讲,读者可从中了解语音 AI 在医疗辅助场景的实际落地。
Suno 推出 Speech beta,称其为首个能把语音与原创背景音乐作为一条完整曲目生成的音频模型。用户输入文字并描述想要的声音和音乐风格即可创作,beta 已向所有用户开放,官方提示仍存在口音漂移、停顿过重等问题并将持续改进。
推荐理由:官方介绍了 Speech 的玩法和 beta 限制,还附了官方博客链接,想试用或了解语音加音乐一体生成的可以看看。
ElevenLabs 完成 3 亿美元员工 tender offer,估值达 220 亿美元,是 2026 年 2 月 Series D 估值的两倍,由 Wellington 和 T. Rowe Price 领投。企业业务占收入 55%,ElevenAgents 每周处理超 1500 万次对话,ARR 自 2 月以来增长超 3 倍,客户语音智能体解决问题平均比聊天智能体快 31%。
推荐理由:原文给出 ElevenLabs 估值翻倍至 220 亿美元的关键经营数字和 ElevenAgents 增长细节,可据此了解企业级语音智能体市场的实际进展。
Inception Labs 推出面向语音智能体的扩散大语言模型 Mercury Voice,面向企业客户开放。
推荐理由:原文给出具体的延迟、基准和定价数据,读者可以据此评估扩散语音模型在实时语音智能体场景的取舍。
ElevenLabs 发布语音合成模型 Eleven v4 及低延迟变体 Eleven v4 Turbo。
推荐理由:官方完整披露了新 TTS 模型的情绪控制、延迟数字、多语言和克隆能力,读者可据此评估是否切换现有语音方案。
Meta 在 Connect 2026 宣布将个人 AI 智能体 Muse 带入 AI 眼镜,并新增 Walmart、Sephora、GitHub、Instacart 等更多 connectors,Muse 还将拥有自己的邮箱地址。
推荐理由:原文汇总了 Muse 上眼镜、VR Glasses、新款 AI 眼镜及听力辅助等多项发布细节,可了解 Meta 硬件与个人智能体的落地节奏。
https://x.com/i/article/2103140786292269056
推荐理由:原文给出录制片段、API 创建与调用的具体步骤和可复用提示词,方便读者快速试用自己的语音复刻。
推荐理由:原文给出录制、授权、创建声音和迁移提示词的完整步骤,读者可直接照做复现自定义 TTS 语音。
我们听到了你们的声音,非常清楚。ChatGPT Voice 现在可以: - 使用你的电子邮件、日历和 Slack 等插件。 - 由 GPT-6 Astra、Sol 和 Luna 提供支持。 - 在网页端和移动端的 ChatGPT Work 中使用,这样你只需开口说话,就能在浏览器中创建文档、演示文稿、网站和电子表格,或处理复杂任务。 今天起在最新版应用中面向全球逐步推出。
推荐理由:OpenAI 官方更新清晰列出语音功能的能力范围和开放时间,读者可以据此判断语音入口是否值得纳入日常工作流。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示词从零设计声音、30 秒样本复刻声音,并提供逐行表演指导、长时音频生成和双说话人场景编排,覆盖 100 多种语言。
推荐理由:官方介绍了两款 TTS 模型的能力细节、评测名次和开放入口,开发者可以据此评估语音生成工作流的选型。
推荐理由:官方一次性给出五个音频模型的能力细节和三档降价幅度,读者可对照自身场景评估替换成本。
Meta 发布 Muse Realtime Avatar,将 Muse Realtime Voice 的语音流实时转化为带表情、手势和全身动作的交互化身,可基于参考图像驱动人像、插画、动物或日常物品。
推荐理由:原文给出了蒸馏方案、延迟数字和与商业系统的对比结果,读者可以据此评估其实时化身生成的技术路线和落地水平。
Google 宣布 Gemini 3.8 Flash TTS(gemini-3.8-flash-tts)和 Gemini 3.8 Flash-Lite TTS(gemini-3.8-flash-lite-tts)正式可用,并发布 Gemini API Voices 端点(/v1beta/voices)。
推荐理由:官方更新日志列出了两个 TTS 模型定位差异和 Voices 端点能力,读者可据此选择替换现有语音方案。
xAI 发布语音转写模型 Grok Voice Transcribe 2.0,称在真实场景评测中准确率是 1.0 的两倍,价格不变,在 Artificial Analysis 榜单 32 个流式模型中准确率排名第一。
推荐理由:官方给出内部评测与公开榜单数据,并用同价翻倍准确率和定价细节说明升级幅度,适合评估语音转写方案时参考。
Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。
推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。