GPT-Live 系统卡：评测配置更正后部分安全指标出现回归
OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini 系统卡，并因发现评测配置不匹配而重跑了语音原生违禁内容评测。
推荐理由：OpenAI 公开更正后的语音安全评测数据，附带修正前后对照，读者可看到误配置如何影响安全评估结论。
技术方向
语音与音频 最新动态
AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
193 条精选近 30 天 17 条共收录 1,435 条
更新
精选归档 · 第 4 页
OpenAI：部署安全与系统卡精选AI 评分6060
xAI：News精选AI 评分6868 xAI 为 Grok Voice 新增 21 个旗舰语音
xAI 发布 21 个新旗舰语音，加入原有的 5 个语音。所有新语音均支持多语言，已在实时 Voice Agent API、Text to Speech API 及新推出的 Grok Voice Agent Builder 中可用。每个语音针对客服、角色、解说、广告、教育等场景定制，支持通过 `[pause]` 等语音标签控制表达。原始 5 个语音（Ara、Eve、Leo、Rex、Sal）经重训练后，节奏、措辞和重音的自然度提升。所有语音原生支持 Grok Voice 的 25 种以上语言。
推荐理由：Grok 一口气放出21种多语言语音，对做语音 agent 的团队是个弹药库更新，但影响的半径基本止于 xAI 生态内部。
公众号：通义实验室精选AI 评分7373 Fun-ASR-Realtime 发布：单模型支持30种语言与16种方言，识别准确率领先
通义实验室发布Fun-ASR-Realtime实时语音识别模型。单模型覆盖30种语言及16种方言，针对东亚、东南亚地区重点优化。在工业级方言测评inhouse上取得87.8%的语义准确率，大幅领先，多地方言接近人工水平。引入上下文理解与动态热词注入，实现同音词、品牌名等语义消歧。流式识别首字延迟控制在百毫秒级，准确率接近离线水平，支持多语言无缝切换。API已上线阿里云百炼平台。
推荐理由：Fun-ASR Realtime把多语言方言和流式一体化做得很扎实，特别是对东亚东南亚的优化，准确率提升明显，做语音应用的产品人可以直接关注。
公众号：通义实验室精选AI 评分6565 Fun-ASR-Realtime 发布：单模型支持 30 种语言与 16 种方言，流式识别准确率接近离线水平
通义实验室发布 Fun-ASR-Realtime，单模型支持 30 种语言和 16 种方言，在工业级方言测评 inhouse 上取得 87.8% 的语义准确率。该模型支持动态注入热词与对话上下文实现语义消歧，首字延迟控制在百毫秒级别，流式识别准确率接近离线水平，并支持多语言无缝切换。API 现已上线阿里云百炼平台。
推荐理由：多语言方言的流式识别将语音交互的可用边界从英语推向了东亚与方言市场，使原先因识别不准而难以落地的本地化客服、语音助手等应用获得了新的技术基础。
公众号：京东JoyAI精选AI 评分6868 JoyAI App 上线 UGC 数字人功能，用户可“捏”出专属虚拟玩伴
JoyAI App 近日上线 UGC 数字人功能，用户只需上传一张照片即可生成专属虚拟数字分身，支持一键复刻写实形象或通过模板重塑为卡通风格，搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座，集成 JoyAI 语言、语音、数字人大模型，实现行业领先的全双工对话，支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性，可提供点外卖、金融咨询、学英语、规划行程等生活服务。
推荐理由：京东把数字人技术做成了「传一张照片就能捏」的大众玩具，虽然看不出硬核突破，但对普通用户来说，这是第一次零门槛体验有形象有语音的 AI 玩伴，上手即用。
xAI：News精选AI 评分7777 xAI 发布 Voice Agent Builder 测试版
xAI 推出 Voice Agent Builder 测试版，这是一个基于 Grok Voice 的无代码平台，可在两分钟内创建生产级语音智能体。它集成电话、知识检索、工具、MCP、Guardrails 及可观测性，支持连接现有 SIP 号码、API 和 WebSocket，采用语音到语音路径。在 τ-voice Bench 上，Grok Voice Think Fast 1.0 得分 67.3%，领先 Gemini 3.1 Flash Live（43.8%）和 GPT Realtime 1.5（35.3%）。定价为每分钟音频 0.05 美元、电话费 0.01 美元，提供 80+ 种语音及声音克隆，每个账户附赠一个免费电话号码。
推荐理由：xAI 用 Grok Voice 原生的语音到语音路径，把生产级语音代理的搭建门槛降到了无代码、两分钟，计费也简单，做语音业务的人值得试试。
Apple：Newsroom精选AI 评分6666 Apple Creator Studio 更新：更智能、更快速、更互联
Apple Creator Studio 推出多项 AI 增强更新。Final Cut Pro 新增 on-device AI 驱动的 Generate Captions（自动转录音频生成字幕）和 Edit Detection（自动检测剪辑点）。Mac 版加入 Auto Mask（自动识别皮肤、天空等主体）、增强的 Match Color 和 Advanced Trimming。支持将帧发送至 Pixelmator Pro 编辑，并在 Keynote、Pages、Numbers 中直接调用 Pixelmator Pro 修改图片。Logic Pro 新增 Grammy 制作人制作的 Producer Project 及 Chord ID 改进。订阅价 $12.99/月或 $129/年，新用户免费试用一个月，教育用户 $2.99/月。
推荐理由：Final Cut Pro 的自动字幕和遮罩是实打实的工作流提升，Pixelmator Pro 的深度整合也让设计更顺畅，虽然没有颠覆性突破，但创意工作者今天就能用上。
IT之家·人工智能精选AI 评分7373 阿里千问输入法上线 macOS 版：最快 300 字/分，AI 自动润色
阿里千问输入法 macOS 版今日上线官网，支持最快 300 字/分的 AI 语音输入，可自动润色、将口语转为工整文字，并支持 9 种方言，纯净无广告。官方预告 iOS、Android、Windows 版将于近日发布。此前千问团队已于今年 5 月推出千问语音输入法（千问 App 内的组件），具备去语气词、纠错、格式化整理及基于上下文的智能回复等能力，而本次上线的输入法则定位为独立 App，填补千问在移动端 AI 输入法赛道的空白。
推荐理由：阿里千问把AI语音能力做成了独立输入法，300字/分+9种方言让语音转文字实用性大增，对不习惯打字的普通用户可能比单纯聊天工具更有粘性。
Hugging Face 社区博客精选AI 评分6161 FFASR 排行榜发布：真实远场条件下 ASR 评测
Treble Technologies 与 Hugging Face 联合推出 FFASR（Far-Field ASR）排行榜，这是首个开源社区驱动的真实远场声学条件 ASR 评测基准。传统近场评测无法反映混响、背景噪声和麦克风距离带来的性能下降。FFASR 使用混合波模拟引擎生成声学数据，涵盖 14 种房间（20–470 m³）和三个信噪比级别（远场高 SNR >14 dB、中 SNR 8–12 dB、低 SNR <6 dB），加上近场干燥条件，共四类条件决定主排名。另有实验室实测/模拟验证轨道和移动声源 beta 版。性能指标同时报告词错误率（WER）和实时因子（RTFx，在 NVIDIA L4 GPU 上评估）。未来将支持多说话人场景、麦克风阵列和回声消除。
推荐理由：远场语音的‘实验室-生产’性能差终于有了量化指标，这个排行榜把 ASR 的真实世界鲁棒性公开化，做语音产品的团队该看看。
IT之家·人工智能精选AI 评分7474 OpenAI ChatGPT 语音最大规模升级：双向AI语音模型 Bidi 1 已上线测试
6月23日，部分用户反馈 ChatGPT 网页版和 App 版上线了双向 AI 语音模型 Bidi 1，位于设置模型选择器中，与标准语音和高级语音并列。该模型支持边说话边监听，用户可在对话中途打断并发出新指令，例如要求从1数到10时中途喊停倒数，模型会立即切换执行。OpenAI 尚未官宣，预计本周启动更大范围测试。
推荐理由：Bidi 1 让 ChatGPT 语音从回合制变成双向并行，打断后能立即响应，这是语音交互真正的升维，普通人很快就能感受到对话自然感的质变。
IT之家·人工智能精选AI 评分7272 网易有道发布 Confucius4-TTS：14 语种跨语种无口音语音克隆开源模型
网易有道推出“子曰 4.0”TTS 引擎 Confucius4-TTS，声称是业内首个支持 14 种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型。用户仅需 3 秒音频即可实现零样本音色克隆，克隆音色与原声相似度超 85%，任务准确度达 97%。模型支持中文、英语等 14 种语言，首创音频 Prompt 情感克隆迁移。底层采用 GPT 式语义大模型、SSL 预训练特征与 ECAPA-TDNN 说话人编码器、Flow Matching 框架。已全量开源（Apache 协议），提供 54GB 资源包供本地部署。
推荐理由：网易有道把语音克隆的门槛压到了 3 秒，跨 14 种语言还能保持无口音，而且全量开源、商用无限制，对多语种配音和短剧出海是直接可用的工具。
公众号：火山引擎精选AI 评分7171 豆包音频生成模型1.0发布，重新定义AI音频创作
火山引擎正式发布豆包音频生成模型1.0（Doubao-Seed-Audio 1.0），支持文本与音频参考生成，端到端输出目标音频。单条Prompt可编排多角色对白、情绪语气、背景音乐及环境氛围，长时生成中保持多角色音色一致性，无需后期多轨混音。模型支持0样本多模态输入，无需额外训练即可生成；实现音色与风格解耦控制及“一声多角”能力。一次支持2分钟音频创作，多次延长保持音色统一。已开启火山方舟API邀测，个人用户享30分钟创作额度，即将上线剪映、即梦、番茄等产品。
推荐理由：豆包音频生成模型把多角色配音、音效、配乐压缩进一条 Prompt，长时一致性解决了一直以来‘串戏’的痛点，音频创作者的生产流程可能会被改写。
xAI@xai精选AI 评分6666xAI 的 Grok TTS 模型在 @Vapi_AI 的 Humanness Index 盲测中以 96 分（真人 100 分）位居榜首。该指数选取同一声音和引文，经各模型克隆后由听众盲评。
引用Vapi@Vapi_AI在我们 Humanness Index™ 上对语音模型进行盲投两天后，xAI 的 Grok TTS 模型位居榜首。 它的人性化得分？96，仅比真人语音（100）低 4 分。 Humanness Index 取一个声音和一句引语，将其克隆到所有主流模型上，然后盲放结果，让真实听众打分。 听听看，投出你的票，为排行榜贡献力量 👇 https://humannessindex.vapi.ai/
推荐理由：xAI Grok TTS 在 Vapi 盲测里人类相似度 96 分，只差真人 4 分，这个分数很有说服力，做语音产品的值得去听听看，能直观感受语音合成的进步。
公众号：火山引擎精选AI 评分7272 火山引擎上线豆包实时语音模型3.0 API 服务，开启邀测
火山引擎上线豆包实时语音模型3.0（Seeduplex）API 服务并开启邀测。该模型为原生全双工端到端语音大模型，具备精准遵循、抗干扰、动态判停三大优势。可在多人对话中安静待命，指定话题出现时主动加入；支持通过自定义工具在实时交互中完成预定日历、发送邮件等任务。抗干扰力提升，误回复率与误打断率大幅降低；判停延迟缩短约250ms，复杂场景抢话比例下降40%，用户主动打断延迟缩短约300ms。适用于汽车智能座舱、智能硬件、智能客服等场景。
推荐理由：豆包实时语音模型3.0带来的全双工实时工具调用，把语音助手从对讲机变成了真人助理，判停延迟和抢话率的改善数据扎实，做车载和智能硬件的团队该认真看看。
LMSYS Blog精选AI 评分6767 MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上：原生流式 48 kHz 语音服务
MOSS-TTS-Local-Transformer-v1.5 是一款开源 TTS 模型，支持 48 kHz 立体声、零样本声音克隆、最长 10 分钟长文本合成、时长控制及 31 种语言。其核心采用 Qwen3-4B 骨干与约 2B 参数的 MOSS-Audio-Tokenizer-v2 音频编解码器，通过 12 个 RVQ 码本运行。SGLang-Omni 以三阶段流水线部署该模型。在 Seed-TTS-Eval 上词错误率 5.10%、语音相似度 69.23%，CV3-Eval 上 WER 7.48%、SIM 61.59%，MiniMax Multilingual 上 WER 6.37%、SIM 75.31%，X Voice 上 WER 20.48%、SIM 63.00%。
推荐理由：SGLang-Omni 把 MOSS-TTS 的端到端服务拆成三阶段并做了大量底层优化，对想落地实时语音合成的团队是现成的技术方案，技术细节扎实，可以直接照着搭。
TechCrunch：AI精选AI 评分7676 Google发布99美元Gemini智能音箱
Google推出首款专为Gemini打造的智能音箱Google Home Speaker，售价99.99美元。支持自然语言请求和多步指令，可在说话中途纠正，并具备连续对话功能。内置10种新声音。高级AI功能需订阅Google Home Premium（月费10美元或年费100美元），包括Gemini Live自由对话、Nest摄像头活动摘要等。即日起预售，本月发货。
推荐理由：Google 终于把 Gemini 塞进了音箱，多步指令和自然纠错是亮点，但高级功能要订阅 Home Premium。普通用户会觉得方便，智能家居玩家可以观望，AI 从业者不会有多大惊喜。
Greg Brockman@gdb精选AI 评分7474引用Pat Simmons@per_simmons_GPT-Realtime 2 是操作系统的未来。 我已经试验了它几周，不得不说，它真是相当不可思议。 打开应用、搜索网页，甚至在 Premiere 里剪辑。全都只用我的声音完成。 而且只需几个提示就能设置好。 在这个视频里，我会向你展示具体怎么做。 0:00 开场 1:46 什么是 GPT-Realtime 2？ 4:46 设置它（无需编程） 7:53 修复常开麦克风（按键说话） 9:41 演示：搜索网页 11:38 演示：通过 MCP 连接应用（Obsidian） 14:13 演示：控制 Premiere Pro（无障碍树） 18:00 诚实的注意事项 19:00 结尾
推荐理由：Greg Brockman 转发的这个视频，演示了用语音控制 OS 完成搜索、写笔记、甚至剪辑 Premiere，这不是 demo 动画，是真的可以上手试的教程，让人感觉语音 OS 离现实又近了一步。
🚨 AI News | TestingCatalog@testingcatalog精选AI 评分7575引用Karan Goel@krandiash我们发布了 Sonic-3.5 和 Ink-2，这是目前可用于你的语音代理的排名第一的文本转语音和语音转文本流式模型。 新架构为速度和质量开辟了新前沿。 我们现在是唯一一家同时拥有说话和聆听排名第一模型的提供商。
推荐理由：Cartesia 同时发布实时语音合成和识别两个模型的迭代版，双双登顶第三方基准，80ms 首音频延迟让语音代理的交互感接近真人，做实时语音应用的开发者可以重点看一下。
IT之家·人工智能精选AI 评分7373 项目负责人揭秘为何苹果 AI 版 Siri 姗姗来迟：推倒重来，彻底重构
苹果AI版Siri迟迟未上线，项目负责人迈克·罗克韦尔在WWDC技术分享会上透露，去年团队曾做出在原有Siri基础上小幅改良、新增工具调用的可运行版本，但因无法达到产品愿景，最终选择推倒重来，完整从零重构系统，依托全新大模型搭建。重构后的Siri拥有独立应用程序，原生支持多模态交互，隐私保护贯穿底层架构，并覆盖iPhone、iPad、Mac、Apple Watch、Vision Pro、CarPlay、AirPods等全平台，提供统一连贯体验。
推荐理由：苹果AI版Siri推迟的真实原因浮出水面——不是技术卡壳，而是主动选择推倒重来，这对所有做大模型应用升级的产品团队是个值得细读的决策复盘。
Zyphra Research精选AI 评分7171 Zyphra 发布开源实时语音克隆模型 ZONOS2
Zyphra 发布 Apache 2.0 许可的实时 TTS 模型 ZONOS2，采用 8B 总参数、900M 激活参数的 MoE 架构，主打高保真零样本语音克隆，权重已上线 Hugging Face。
推荐理由：原文给出架构、训练数据和评测细节，读者可以了解这个开源实时 TTS 模型在音色保真与生成稳定性之间的取舍。