阶跃星辰发布 StepAudio 3 系列语音大模型，多款在 Artificial Analysis 榜单全球第一
阶跃星辰发布 StepAudio 3 系列，包含 Realtime、ASR、TTS、Gen 和 Music 五款模型，已在阶跃星辰开放平台上线。
推荐理由：官方完整介绍了五款模型的能力与榜单成绩，可帮助读者了解语音模型在实时交互、理解和创作上的进展。
技术方向
语音与音频 最新动态
AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
193 条精选近 30 天 18 条共收录 1,434 条
更新
精选归档 · 第 2 页
公众号：阶跃星辰精选AI 评分6666 
Artificial Analysis@ArtificialAnlys精选AI 评分6666推荐理由：原文给出语音到语音模型的完整分数、速度和成本对比，读者可据此在不同后端配置间做选型判断。
OpenAI：官网动态精选AI 评分7070 OpenAI 在 API 中推出全双工语音模型 GPT-Live-1
OpenAI 在 API 中发布语音模型 GPT-Live-1，可同时听和说，支持将推理和工具调用委派给 GPT-6 Astra 等后端模型，前端语音层定价为每分钟 $0.05。
推荐理由：原文给出单模型全双工语音架构、基准变化和定价，读者可以据此评估它能否简化现有语音 Agent 的分层方案。
ElevenLabs：Blog精选AI 评分6767 Universal Music Group 与 ElevenLabs 达成多年期授权与产品合作
ElevenLabs 与 Universal Music Group 宣布达成多年期授权协议与战略合作，这是 ElevenLabs 首次与主要唱片公司签订涵盖授权和产品开发的协议。
推荐理由：这是 ElevenLabs 首次与主要唱片公司达成授权与产品开发合作，读者可以据此了解授权模式下 AI 音乐产品的走向。
Suno@suno精选AI 评分6666Suno 发布 v6 模型，可将图片、视频和语音备忘录转化为音乐，并对已创建的歌曲进行精确修改。同时提供 v6-wild 版本供探索更多可能性，官方附有 2 分钟以内的功能演示视频。
推荐理由：官方宣布 v6 上线并给出多模态输入与歌曲精修能力，可据此了解音乐生成模型的最新变化。
Microsoft AI：官方博客精选AI 评分6464 Microsoft AI 发布语音识别模型 MAI-Transcribe-2
Microsoft AI 发布转录模型 MAI-Transcribe-2，称其在 FLEURS 基准 60 种语言上平均词错率 5.2% 排名第一，并占据 Artificial Analysis 准确率-延迟 Pareto 前沿。
推荐理由：官方给出具体基准排名、对比速度倍数和定价，读者可以据此评估它对现有语音转写方案的可替换性。
Meta AI：Research Blog精选AI 评分6464 Meta 发布实时音频感知模型 Muse Voice Transcribe
Meta Superintelligence Labs 发布 Muse Voice Transcribe，称其为首个实时音频感知模型，提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。
推荐理由：原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明，读者可以了解其实时语音感知的实现方式。
Hugging Face 社区博客精选AI 评分6666 Open ASR 排行榜新增首个全球南方语言：印地语与印度英语评测集
Voice Arena 与 Hugging Face 合作，为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，覆盖印地语与印度英语，其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割，共 4,888 位说话人，并记录 12 项说话人属性，旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。
推荐理由：把评测单元从单一 WER 下探到带 12 项说话人属性的分组，能暴露模型在不同地域、口音、设备上的表现差异，让 ASR 选型不再只看平均错误率。
Google AI：DEV 作者专属精选AI 评分7474 Gemini 3.5 Transcribe 完整指南：告别 ASR 转录难题
Google 推出专用于语音转文字的 Gemini 3.5 Transcribe 模型，主打快速、准确且低成本的转录，原生支持说话人分离和词级毫秒时间戳。该模型支持 85+ 种语言自动识别与代码切换，可通过 custom_vocabulary 传入最多 1,000 个领域术语避免专有名词拼写错误，并提供 Smart Transcription 与 Verbatim 两种模式。
推荐理由：逐字模式保留毫秒级时间戳和说话人分离，智能模式清理填充词但可能改写原文，两者取舍决定字幕同步和会议记录应选不同配置。
Google DeepMind：Blog精选AI 评分6868 Gemini 3.5 Transcribe 发布：面向实时语音交互的高精度语音转文本模型
Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型，支持流式与非流式两种 API。据 Artificial Analysis 评测，其流式与非流式平均词错率分别为 4.0% 和 2.6%，支持超 85 种语言、自定义词汇及最多三人说话人识别。
推荐理由：相较于上一代 Chirp 3，流式词错率降到 4.0% 且最终转录延迟改善 70%，会影响语音代理和实时字幕方案的成本与体验取舍。
ElevenLabs：Blog精选AI 评分6262 ElevenLabs 发布 CLI v1，将 ElevenLabs API 带入终端
ElevenLabs 发布 CLI v1，把 ElevenLabs API 直接带入终端，OpenAPI spec 中的所有 API 端点都可用作子命令。
推荐理由：官方介绍 CLI 的 agents-first 设计细节，读者可以了解如何用文件和版本控制管理大规模 Agent 配置工作流。
Artificial Analysis 完整文章精选AI 评分6363 Artificial Analysis 发布 Speech Agent Arena 评测真实语音智能体表现
Artificial Analysis 推出 Speech Agent Arena，让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型，以 Preference Elo 和 Task Success Rate 评分。
推荐理由：原文给出真实任务下语音智能体的偏好与任务成功率两套结果，提示对话好听不等于任务完成。
FireRedTeam：原创语音与多模态项目精选AI 评分6464 FireRedTeam 开源 FireRedAudio 9B 通用音频语言模型
FireRedTeam 发布 FireRedAudio 的代码与模型，一个基于 9B 参数 LLM 的通用音频语言模型，采用理解与生成解耦的连续表征设计。单模型支持 ASR、音频理解、零样本 TTS、指令 TTS、语义与声学语音编辑，以及最长一小时录音的时序定位理解，在 MMAU、Seed-TTS-Eval 等基准上取得竞争性或领先结果。
推荐理由：官方发布了代码和权重，读者可以据此了解用一个 9B 骨干同时覆盖语音理解与生成的解耦表征设计。
Hugging Face 社区博客精选AI 评分6969 测量语音识别中的基准优化：Hugging Face 新测试揭示 ASR 模型“刷分”现象
Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本，即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源，导致其得分高估了真实转录能力。
推荐理由：研究把语音识别中的基准优化现象变成可量化检验，三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。
FireRedTeam：原创语音与多模态项目精选AI 评分6565 FireRedTeam 开源 FireRedTTS3 语音生成与编辑模型
FireRedTeam 发布 FireRedTTS3，包含 Base 和 Instruct 两个变体，基于语义增强连续语音表征实现统一语音生成与编辑。
推荐理由：原文给出两个模型变体、语言覆盖和多项评测对比数据，读者可以据此评估它的克隆与编辑能力。
公众号：小红书技术精选AI 评分7575 小红书开源连续自回归语音合成模型 dots.tts：打造可持续扩展的 TTS 基座
小红书 dots 团队开源 20 亿参数全连续端到端自回归语音合成模型 dots.tts，在 Seed-TTS-Eval 三个子集上取得最佳平均内容准确度和平均说话人相似度。
推荐理由：连续自回归跳过离散 Token 的信息损失，又用语义编码器回灌历史抑制累积误差，为音色克隆和低步数流式共用同一基座提供了路径。
MarkTechPost精选AI 评分7575 NVIDIA 发布 NemotronLabs VoiceChat 11B：开源全双工语音模型，支持约 450 毫秒轮换与实时工具调用
NVIDIA 发布开源端到端全双工语音对话模型 NemotronLabs VoiceChat 11B，在统一网络中完成流式语音理解与生成，实测轮换延迟 448 毫秒。该模型为首个支持对话中工具调用的开源全双工模型，通过独立输出通道及预置“保持”话术避免 API 执行期间冷场。权重与容器已公开，但仅限研究用途，需单张 80 GB 显存 GPU，目前无托管 API。
推荐理由：端到端语音模型消除级联延迟，而工具调用侧通道和保留消息设计在不中断对话的前提下补齐了API等待期，让实时语音智能体更容易工程化。
IT之家·人工智能精选AI 评分7272 OpenAI 桌面端 ChatGPT 上线语音交互功能，可语音操控电脑执行多步骤任务
OpenAI 更新 ChatGPT 桌面应用，新增对 ChatGPT Voice 的支持，用户可直接通过语音对话控制 AI 智能体并让其在电脑上执行任务。该功能基于全新语音模型系列 ChatGPT-Live，支持 ChatGPT Work 和 Codex，在 macOS 上还可借助 Appshots 访问屏幕内容。
推荐理由：桌面端语音不再只是对话，演示中一条指令完成创建线程、提PR和定位Bug，语音开始成为开发者工作流中的可执行指令层。
Greg Brockman@gdb精选AI 评分7171引用Adam Fry@adamhfry本周的 ChatGPT 功能更新 - 8月7日： 1/ 网页编辑器中的富文本格式——当你粘贴邮件或文档时，我们的编辑器会保留格式；复制粘贴太常见了，我们早就该做这个了！ 2/ 为付费用户更新模型——GPT 5.6 Sol 在快速聊天和深度推理中更加一致。你现在会得到一个滑块，让你选择 ChatGPT 在回答中投入多少思考。移动端滑块上的触觉反馈（振动）很有趣！ 3/ 无限文本消息——免费用户将获得 GPT 5.6 Luna，并享有无限文本消息。让所有人都更智能。即将推出。 4/ 快速 Android 相机——我们在 Android 上让点击 ChatGPT 中的“相机”来拍摄新照片并提问变得快多了。 5/ 语音 x 文件——你现在可以在我们由 GPT-Live 驱动的新 ChatGPT 语音体验中上传文件并提问。 本周的团队演示非常棒。队列里有很多内容，接下来几个月会很精彩。在评论中告诉我们你期待什么！
推荐理由：推理深度滑块把算力分配交给用户，对需要精细控制推理时长与成本的流程更有用，免费无限消息则解除了日常对话量限制。
- Suno@suno精选AI 评分6565
推荐理由：移动端录制与生成流程打通，创作者用手机采集声音即可快速应用到曲目中，省去了跨工具处理音色的步骤。