跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

196 条精选近 30 天 13 条共收录 1,493 条

更新

语音与音频的精选

10月22日周四第 1–20 条
  1. Sierra:Blog60

    Sierra 发布 𝜏-Entity 基准,检验语音智能体能否准确采集姓名、电话等实体信息

    Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。

    推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。

10月20日周二
10月19日周一
  1. 蚂蚁 inclusionAI:GitHub 新仓库72

    蚂蚁 inclusionAI 开源 Ming-3.0-tts 语音合成模型

    蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-tts,包含 0.5b dense 和基于 Ling V3 的 tiny(7.9B 总参数、1.3B 激活)两个语音生成模型,MIT 协议开源,权重可在 Hugging Face 和 ModelScope 下载。

    推荐理由:官方仓库给出两版模型的榜单名次、完整任务列表和部署细节,读者可据此评估其在多语言与副语言控制上的实际可用性。

10月15日周四
  1. Elon Musk67

    Musk 发文称 Grok Voice 3.0 已是全球领先的对话语音模型,并引用 Artificial Analysis 的评测:Grok Voice 3.0 以 86.9 分登顶 Speech to Speech Index,领先 GPT-Live-1(Astra, medium)的 83.2 和 Gemini 3.8 Live 的 82.6,较 Grok Voice 2.0 的 81.3 提升 5.6 分。该模型通过 Realtime API 提供,价格 $0.08 每分钟,Big Bench Audio 平均首音频延迟 0.81 秒,任务成功率 94.8% 居榜首。

    引用Artificial Analysis@ArtificialAnlys

    SpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型,在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1,同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者,这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型,价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点: ➤ 语音到语音指数:Grok Voice 3.0 以 86.9 首次亮相即排名第 1,领先于 GPT-Live-1(Astra,medium)的 83.2、Gemini 3.8 Live Extended Thinking(High)的 82.6 和 GPT-Live-1(Sol,low)的 80.1。它高于 Grok Voice 2.0 的 81.3(+5.6 分)和 Grok Voice 1.0 的 73.7(+13.2 分),后者发布至今还不到六个月。该指数平均了语音推理(Big Bench Audio)、智能体性能(Tau Voice)、Arena 偏好和任务成功率 ➤ 语音智能体 Arena:Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3,落后于 Gemini 3.1 Flash Live Minimal(1100)和 Gemini 3.8 Live(1088),领先于 GPT-Live-1(Sol,low)的 1057,并以 94.8% 的任务成功率排名第 1,为榜单最高,略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice:Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2,落后于 GPT-Live-1(Astra,medium)的 74.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 68.6% 和 GPT-Live-1(Sol,low)的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio:Grok Voice 3.0 在音频推理上得分 98.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度:在 Big Bench Audio 上,Grok Voice 3.0 的平均首次音频时间为 0.81 秒,明显领先于 GPT-Live-1(Sol,low)的 1.24 秒、GPT-Live-1(Astra,medium)的 1.34 秒和 Gemini 3.8 Live Extended Thinking(High)的 1.35 秒,但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本:Grok Voice 3.0 的输入音频成本为每小时 $4.80,与 Grok Voice 2.0 相同。这高于 GPT-Live-1(Sol,low)的 $4.47 和 Gemini 3.8 Live Extended Thinking(High)的 $3.50,低于 GPT-Live-1(Astra,medium)的 $5.83,并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️

    推荐理由:作者引用第三方评测数据,读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。

  2. xAI:News66

    xAI 发布 Grok Voice 3.0 语音模型

    xAI 发布 speech-to-speech 模型 Grok Voice 3.0,在 Artificial Analysis 的 Speech-to-Speech Index 以 86.9 分排名第一,时延低于一秒。

    推荐理由:官方发布给出多项第三方基准分数、时延和 API 定价,读者可以据此评估它在语音智能体场景的性价比。

10月13日周二
10月2日周五
  1. Suno:Blog71

    Suno 推出 Speech beta:语音与背景音乐一体生成

    Suno 推出 Speech beta,称其为首个能把语音与原创背景音乐作为一条完整曲目生成的音频模型。用户输入文字并描述想要的声音和音乐风格即可创作,beta 已向所有用户开放,官方提示仍存在口音漂移、停顿过重等问题并将持续改进。

    推荐理由:官方介绍了 Speech 的玩法和 beta 限制,还附了官方博客链接,想试用或了解语音加音乐一体生成的可以看看。

9月30日周三
  1. ElevenLabs:Blog62

    ElevenLabs 完成 3 亿美元员工股份回购,估值升至 220 亿美元

    ElevenLabs 完成 3 亿美元员工 tender offer,估值达 220 亿美元,是 2026 年 2 月 Series D 估值的两倍,由 Wellington 和 T. Rowe Price 领投。企业业务占收入 55%,ElevenAgents 每周处理超 1500 万次对话,ARR 自 2 月以来增长超 3 倍,客户语音智能体解决问题平均比聊天智能体快 31%。

    推荐理由:原文给出 ElevenLabs 估值翻倍至 220 亿美元的关键经营数字和 ElevenAgents 增长细节,可据此了解企业级语音智能体市场的实际进展。

9月29日周二
9月28日周一
9月25日周五
  1. Meta:Newsroom · AI66

    Meta 在 Connect 2026 发布 Muse 上眼镜、VR Glasses 及多款 AI 眼镜新品

    Meta 在 Connect 2026 宣布将个人 AI 智能体 Muse 带入 AI 眼镜,并新增 Walmart、Sephora、GitHub、Instacart 等更多 connectors,Muse 还将拥有自己的邮箱地址。

    推荐理由:原文汇总了 Muse 上眼镜、VR Glasses、新款 AI 眼镜及听力辅助等多项发布细节,可了解 Meta 硬件与个人智能体的落地节奏。

9月24日周四
  1. Philipp Schmid69

    Philipp Schmid 介绍 Gemini 3.8 TTS 支持通过录制 20 秒语音加同意句复刻个人声音,或用提示词设计完全自定义的语音。通过 API 调用创建后可在任意请求中使用,风格通过 speech_metadata 设置,作者还提供了博客链接和一段可交给智能体的完整操作提示词。

    引用Philipp Schmid@_philschmid

    https://x.com/i/article/2103140786292269056

    推荐理由:原文给出录制片段、API 创建与调用的具体步骤和可复用提示词,方便读者快速试用自己的语音复刻。

  2. Tibo72

    OpenAI 宣布 ChatGPT Voice 升级,可使用邮件、日历和 Slack 等插件,并由 GPT-6 Astra、Sol、Luna 驱动。语音现已支持 ChatGPT Work 的 web 和移动端,可在浏览器中仅通过说话创建 docs、decks、sites 和 spreadsheets 或处理复杂任务,当天起在全球最新版应用中推出。

    引用OpenAI@OpenAI

    我们听到了你们的声音,非常清楚。ChatGPT Voice 现在可以: - 使用你的电子邮件、日历和 Slack 等插件。 - 由 GPT-6 Astra、Sol 和 Luna 提供支持。 - 在网页端和移动端的 ChatGPT Work 中使用,这样你只需开口说话,就能在浏览器中创建文档、演示文稿、网站和电子表格,或处理复杂任务。 今天起在最新版应用中面向全球逐步推出。

    推荐理由:OpenAI 官方更新清晰列出语音功能的能力范围和开放时间,读者可以据此判断语音入口是否值得纳入日常工作流。

9月23日周三
  1. Google DeepMind:Blog74

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示词从零设计声音、30 秒样本复刻声音,并提供逐行表演指导、长时音频生成和双说话人场景编排,覆盖 100 多种语言。

    推荐理由:官方介绍了两款 TTS 模型的能力细节、评测名次和开放入口,开发者可以据此评估语音生成工作流的选型。

  2. Meta AI:Research Blog70

    Meta 发布 Muse Realtime Avatar,将实时语音转化为可交互的动态化身

    Meta 发布 Muse Realtime Avatar,将 Muse Realtime Voice 的语音流实时转化为带表情、手势和全身动作的交互化身,可基于参考图像驱动人像、插画、动物或日常物品。

    推荐理由:原文给出了蒸馏方案、延迟数字和与商业系统的对比结果,读者可以据此评估其实时化身生成的技术路线和落地水平。

9月22日周二
  1. Gemini API:更新日志65

    Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 并正式开放 Gemini API Voices 端点

    Google 宣布 Gemini 3.8 Flash TTS(gemini-3.8-flash-tts)和 Gemini 3.8 Flash-Lite TTS(gemini-3.8-flash-lite-tts)正式可用,并发布 Gemini API Voices 端点(/v1beta/voices)。

    推荐理由:官方更新日志列出了两个 TTS 模型定位差异和 Voices 端点能力,读者可据此选择替换现有语音方案。

9月19日周六
  1. xAI:News64

    xAI 发布 Grok Voice Transcribe 2.0 语音转写模型

    xAI 发布语音转写模型 Grok Voice Transcribe 2.0,称在真实场景评测中准确率是 1.0 的两倍,价格不变,在 Artificial Analysis 榜单 32 个流式模型中准确率排名第一。

    推荐理由:官方给出内部评测与公开榜单数据,并用同价翻倍准确率和定价细节说明升级幅度,适合评估语音转写方案时参考。

9月18日周五
  1. Qwen:Blog Retrieval69

    Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒

    Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。

    推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。