技术方向
AI 语音与音频的进展：语音合成、实时对话、音乐生成与音频理解的模型与产品。
190 条精选近 30 天 18 条共收录 1,378 条
字节 Seed 发布 SeedRealtime，用统一架构原生融合音频、视频与文本，实现“边看、边听、边说”的实时交互。相比级联模型，其音视频对话节奏问题减少一半，并已在豆包 App 全量上线，率先实现音视频全双工技术的规模化落地。
推荐理由：SeedRealtime 将音视频感知与表达统一到同一端到端模型中，级联系统常见的说话节奏问题减少了一半，实时场景中能主动提醒并自然停顿，为全模态智能助手交互提供了新的技术路线。
腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview，基于大语言模型 Hy3 与 MoE 架构，融合高精度识别与语义理解。其在开源评测集中中文普通话 WER 3.34%、英语 WER 2.62%、粤语 WER 3.12%，并支持上下文纠错、热词注入及高噪耳语等场景。该模型已上线腾讯云 API，元宝 App 首发并免费开放。
推荐理由：将 LLM 语义理解融入语音识别，上下文纠错和热词注入降低了专业场景的接入成本，元宝已集成可体验。
Greg Brockman@gdb精选AI 评分6666GPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然，我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动，因此更深入的推理和工具调用不会打断对话。
推荐理由：在 GPT-Live 架构下推理与工具调用期间音频流不间断，语音交互的等待感和打断感被显著消除，适用于需要持续对话的陪伴和协作场景。
OpenAI Developers@OpenAIDevs精选AI 评分6565
推荐理由：OpenAI 正式把转录拆成实时和异步两个模型，这是一个信号，语音 AI 的落地正在从通用走向场景专用，做语音产品的都该看一眼。
QwenAudio 开源 qwen-audio-agent，一个让 Agent 保持在线的实时语音运行时，前台对话与后台任务并行，任务结果自动回到当前对话。
推荐理由：原文给出了前台语音对话加后台 Agent 执行的架构设计与多款后端 Agent 接入方式，读者可据此评估是否接入自己的工作流。
OpenAI@OpenAI精选AI 评分7979
推荐理由：ChatGPT 的语音助手正式上岸桌面，关键是能同时指挥多个代理干活，一边写代码一边查资料，全程动嘴就行。对重度用户来说，这可能比任何新模型都更直接影响工作流。
Microsoft AI 发布 MAI-Image-2.5-Pro 和 MAI-Voice-2-Flash 两款新模型公开预览版。
推荐理由：原文给出两款新模型的定价、性能数字和已落地的产品场景，读者可以据此评估在质量速度成本曲线上的选型。
Qwen@Alibaba_Qwen精选AI 评分7979推荐理由：TTS 模型终于学会控制情感和语调了，Qwen 这次把自然语言提示和细粒度标签一起放进去，做语音助手的可以直接从‘能说话’跳进‘有性格’。
OpenRouter 推出 POST /api/v1/audio/transcriptions 端点，用户可使用同一 API key 将 base64 编码音频发送至该端点，返回 JSON 格式文本与用量对象。
推荐理由：OpenRouter 把语音转录集成进 API，一份 key 搞定聊天和转写，对已经在用的团队省心不少，这篇教程直接可跑。
Andrej Karpathy@karpathy精选AI 评分7878推荐理由：Karpathy 这条语音输入 ramble 技巧，比精心写 prompt 更符合人性，读完后你也会想试试。
字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0，在统一框架下联合建模人声、音效和环境声，支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线，多数场景音频可用率达 90% 以上，多语言音频自然度 MOS 超 4 分。
推荐理由：字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型，它把台词、音效、氛围统一编排，并支持百毫秒级时间线控制，对做视频和出海内容的团队是个立刻能用的创作升级。
Patter SDK 发布教程，演示如何构建一个餐厅预订场景的语音智能体工作流。该流程支持动态调用变量、注册可调用工具、应用输出护栏（如PII脱敏、脏话过滤、话题范围限制），并可在无需实时电话凭证的情况下运行脚本化通话模拟。教程还涵盖延迟与成本指标追踪、回归式评估检查，以及将智能体逻辑、工具调用、安全检查和通话模拟整合为单一结构化管线。
推荐理由：这个教程把 Patter SDK 的语音代理从模拟到部署跑了一遍，代码能直接抄，想上手电话 AI 的开发者可以当样板，不过工具本身还比较新，生态有待验证。
阿里通义实验室发布实时语音交互模型 Qwen-Audio-3.0-Realtime，在 Artificial Analysis 的 Speech Reasoning 子项中综合排名第一，超越 OpenAI GPT-Realtime-2。
推荐理由：我觉得Qwen-Audio-3.0-Realtime把情感表达和背景降噪结合得很好，加上工具调用，语音交互终于从聊天走向任务执行，有API可以直接上手，推荐语音产品经理试试。
阿里语音交互模型 Fun-Realtime-AudioChat 全面升级并更名为 Qwen-Audio-3.0-Realtime，支持根据语境动态调整语气与情感、音色克隆，并内置多模态双工控制模型，实现声纹级背景过滤。
推荐理由：把文本推理能力蒸馏到语音模型同时保留毫秒级响应，这种架构为需要复杂决策的语音智能体提供了可行路径。
Google AI Developers@googleaidevs精选AI 评分7070推荐理由：Google把Gemini 3.5的语音翻译做到了近实时、保持语调，这对出海产品是个很实际的升级，实时通话翻译终于从demo走向可用。
Inception Labs 发布 Mercury 2，称其为全球首个推理扩散语言模型（dLLM），在 NVIDIA H100 上以 1000+ token/秒并行解码，300 token 的推理链可在约 300ms 内完成，适配语音对话延迟预算。
推荐理由：官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据，语音 Agent 开发者可以据此评估是否能替换现有默认模型。
OpenAI 今日推出 GPT‑Live，基于全双工架构实现同时听与说，支持自然打断与实时回馈。该模型每秒多次判断是否说话、倾听、打断或调用工具，并将搜索、推理等复杂任务委托给后台 GPT‑5.5，保持对话流畅。即日起向全球 ChatGPT 用户提供 GPT‑Live‑1 和 GPT‑Live‑1 mini 两个版本。人类评估显示，在 5‑10 分钟对话中，GPT‑Live‑1 系列在自然度、轮流、打断等方面显著优于 Advanced Voice Mode；在 GPQA、BrowseComp 和 τ³‑Voice Telecom 基准测试中也表现更强。未来将开放 API。
推荐理由：GPT‑Live 不是简单的语音版本升级，全双工架构让 AI 终于能同时听和说，加上后台调用 GPT‑5.5，对话体验跨了一大步，做语音应用的产品人该重新思考交互流程了。
OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini 系统卡，并因发现评测配置不匹配而重跑了语音原生违禁内容评测。
推荐理由：OpenAI 公开更正后的语音安全评测数据，附带修正前后对照，读者可看到误配置如何影响安全评估结论。
xAI 发布 21 个新旗舰语音，加入原有的 5 个语音。所有新语音均支持多语言，已在实时 Voice Agent API、Text to Speech API 及新推出的 Grok Voice Agent Builder 中可用。每个语音针对客服、角色、解说、广告、教育等场景定制，支持通过 `[pause]` 等语音标签控制表达。原始 5 个语音（Ara、Eve、Leo、Rex、Sal）经重训练后，节奏、措辞和重音的自然度提升。所有语音原生支持 Grok Voice 的 25 种以上语言。
推荐理由：Grok 一口气放出21种多语言语音，对做语音 agent 的团队是个弹药库更新，但影响的半径基本止于 xAI 生态内部。
通义实验室发布Fun-ASR-Realtime实时语音识别模型。单模型覆盖30种语言及16种方言，针对东亚、东南亚地区重点优化。在工业级方言测评inhouse上取得87.8%的语义准确率，大幅领先，多地方言接近人工水平。引入上下文理解与动态热词注入，实现同音词、品牌名等语义消歧。流式识别首字延迟控制在百毫秒级，准确率接近离线水平，支持多语言无缝切换。API已上线阿里云百炼平台。
推荐理由：Fun-ASR Realtime把多语言方言和流式一体化做得很扎实，特别是对东亚东南亚的优化，准确率提升明显，做语音应用的产品人可以直接关注。