技术方向
AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
196 条精选近 30 天 13 条共收录 1,492 条
Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash，支持文本、图像、音频和视频输入及 1M token 上下文窗口，29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%，音频输入每小时价格下降超过 98%，音视频输入每小时价格下降超过 93%。
推荐理由：官方发布同时开放 API 和开源插件与运行时，读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。
蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus，一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件：Realtime-Venus-Omni（9B，流式音视频对话与主动交互）、Realtime-Venus-Audio（9B，语音交互与音频理解）以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。
推荐理由：蚂蚁和清华开源了全双工对话加异步委托任务的系统，含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时，可直接下载推理或跑浏览器 demo。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两个近实时语音对话模型，主打语音智能体和复杂任务执行。
推荐理由：原文给出两个语音对话模型的定位分工和多项基准数字，读者可以据此评估其推理、成本与工具调用能力。
阶跃星辰发布 StepAudio 3 系列，包含 Realtime、ASR、TTS、Gen 和 Music 五款模型，已在阶跃星辰开放平台上线。
推荐理由：官方完整介绍了五款模型的能力与榜单成绩，可帮助读者了解语音模型在实时交互、理解和创作上的进展。
Artificial Analysis@ArtificialAnlys精选AI 评分6666推荐理由：原文给出语音到语音模型的完整分数、速度和成本对比，读者可据此在不同后端配置间做选型判断。
OpenAI 在 API 中发布语音模型 GPT-Live-1，可同时听和说，支持将推理和工具调用委派给 GPT-6 Astra 等后端模型，前端语音层定价为每分钟 $0.05。
推荐理由：原文给出单模型全双工语音架构、基准变化和定价，读者可以据此评估它能否简化现有语音 Agent 的分层方案。
ElevenLabs 与 Universal Music Group 宣布达成多年期授权协议与战略合作，这是 ElevenLabs 首次与主要唱片公司签订涵盖授权和产品开发的协议。
推荐理由：这是 ElevenLabs 首次与主要唱片公司达成授权与产品开发合作，读者可以据此了解授权模式下 AI 音乐产品的走向。
Suno@suno精选AI 评分6666Suno 发布 v6 模型，可将图片、视频和语音备忘录转化为音乐，并对已创建的歌曲进行精确修改。同时提供 v6-wild 版本供探索更多可能性，官方附有 2 分钟以内的功能演示视频。
推荐理由：官方宣布 v6 上线并给出多模态输入与歌曲精修能力，可据此了解音乐生成模型的最新变化。
Microsoft AI 发布转录模型 MAI-Transcribe-2，称其在 FLEURS 基准 60 种语言上平均词错率 5.2% 排名第一，并占据 Artificial Analysis 准确率-延迟 Pareto 前沿。
推荐理由：官方给出具体基准排名、对比速度倍数和定价，读者可以据此评估它对现有语音转写方案的可替换性。
Meta Superintelligence Labs 发布 Muse Voice Transcribe，称其为首个实时音频感知模型，提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。
推荐理由：原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明，读者可以了解其实时语音感知的实现方式。
Voice Arena 与 Hugging Face 合作，为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，覆盖印地语与印度英语，其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割，共 4,888 位说话人，并记录 12 项说话人属性，旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。
推荐理由：把评测单元从单一 WER 下探到带 12 项说话人属性的分组，能暴露模型在不同地域、口音、设备上的表现差异，让 ASR 选型不再只看平均错误率。
Google 推出专用于语音转文字的 Gemini 3.5 Transcribe 模型，主打快速、准确且低成本的转录，原生支持说话人分离和词级毫秒时间戳。该模型支持 85+ 种语言自动识别与代码切换，可通过 custom_vocabulary 传入最多 1,000 个领域术语避免专有名词拼写错误，并提供 Smart Transcription 与 Verbatim 两种模式。
推荐理由：逐字模式保留毫秒级时间戳和说话人分离，智能模式清理填充词但可能改写原文，两者取舍决定字幕同步和会议记录应选不同配置。
Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型，支持流式与非流式两种 API。据 Artificial Analysis 评测，其流式与非流式平均词错率分别为 4.0% 和 2.6%，支持超 85 种语言、自定义词汇及最多三人说话人识别。
推荐理由：相较于上一代 Chirp 3，流式词错率降到 4.0% 且最终转录延迟改善 70%，会影响语音代理和实时字幕方案的成本与体验取舍。
ElevenLabs 发布 CLI v1，把 ElevenLabs API 直接带入终端，OpenAPI spec 中的所有 API 端点都可用作子命令。
推荐理由：官方介绍 CLI 的 agents-first 设计细节，读者可以了解如何用文件和版本控制管理大规模 Agent 配置工作流。
Artificial Analysis 推出 Speech Agent Arena，让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型，以 Preference Elo 和 Task Success Rate 评分。
推荐理由：原文给出真实任务下语音智能体的偏好与任务成功率两套结果，提示对话好听不等于任务完成。
FireRedTeam 发布 FireRedAudio 的代码与模型，一个基于 9B 参数 LLM 的通用音频语言模型，采用理解与生成解耦的连续表征设计。单模型支持 ASR、音频理解、零样本 TTS、指令 TTS、语义与声学语音编辑，以及最长一小时录音的时序定位理解，在 MMAU、Seed-TTS-Eval 等基准上取得竞争性或领先结果。
推荐理由：官方发布了代码和权重，读者可以据此了解用一个 9B 骨干同时覆盖语音理解与生成的解耦表征设计。
Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本，即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源，导致其得分高估了真实转录能力。
推荐理由：研究把语音识别中的基准优化现象变成可量化检验，三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。
FireRedTeam 发布 FireRedTTS3，包含 Base 和 Instruct 两个变体，基于语义增强连续语音表征实现统一语音生成与编辑。
推荐理由：原文给出两个模型变体、语言覆盖和多项评测对比数据，读者可以据此评估它的克隆与编辑能力。
小红书 dots 团队开源 20 亿参数全连续端到端自回归语音合成模型 dots.tts，在 Seed-TTS-Eval 三个子集上取得最佳平均内容准确度和平均说话人相似度。
推荐理由：连续自回归跳过离散 Token 的信息损失，又用语义编码器回灌历史抑制累积误差，为音色克隆和低步数流式共用同一基座提供了路径。
NVIDIA 发布开源端到端全双工语音对话模型 NemotronLabs VoiceChat 11B，在统一网络中完成流式语音理解与生成，实测轮换延迟 448 毫秒。该模型为首个支持对话中工具调用的开源全双工模型，通过独立输出通道及预置“保持”话术避免 API 执行期间冷场。权重与容器已公开，但仅限研究用途，需单张 80 GB 显存 GPU，目前无托管 API。
推荐理由：端到端语音模型消除级联延迟，而工具调用侧通道和保留消息设计在不中断对话的前提下补齐了API等待期，让实时语音智能体更容易工程化。