跳到正文
7月8日周三
  1. IT之家·人工智能57

    英伟达发布 Audex 统一音频-文本模型,避免多模态扩展后文本能力下滑

    英伟达今年6月推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数30B、激活参数3B。骨干为52层混合 Mamba-Transformer 结构的 Nemotron-Cascade-2-30B-A3B,含128个可路由专家、每次激活6个。音频输入经 AF-Whisper 编码后映射到文本嵌入空间,输出词表从131072个 token 扩展至205312个。语音输出采用 X-Codec2(每秒50 token,单层有限标量量化),非语音音频采用 X-Codec(每秒200 token,4层展平残差向量量化)。文本评测方面,Audex 在 MMLU-Redux 得分86.4(骨干86.3),IMO AnswerBench 得分81.1(骨干79.3),MMLU-Pro 与 GPQA-Diamond 小幅下降。

  2. MarkTechPost76

    NVIDIA 发布 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型

    NVIDIA 发布 Audex(Nemotron-Labs-Audex-30B-A3B),一个统一音频-文本大语言模型,能理解并生成音频与语音,同时保持骨干模型的文本智能。该模型为 30B-A3B 的 MoE Transformer 解码器,总参数量 30B,每 token 激活 3B。音频输入被编码投影到文本嵌入空间,文本与音频 token 统一处理。支持指令模式与思考模式,上下文长度达 1M token。训练采用多阶段 SFT 加文本专用 Cascade RL,避免多模态文本智能退化。文本基准上,Audex 与骨干模型接近:MMLU-Redux 86.4,IMO AnswerBench 81.1。语音识别中,OpenASR 词错误率 6.82,优于 Step-Audio-R1.1-33B 和 Qwen3-Omni-30B-A3B-Thinking。Audex 还支持非语音音频生成。模型权重(含 Audex-2B)以非商业许可发布。

  3. The Decoder:AI News61

    Cohere Transcribe Arabic:专为阿拉伯语最棘手转录问题打造的开源模型

    Cohere 发布开源语音识别模型 Cohere Transcribe Arabic,参数量为 20 亿,专为解决阿拉伯语方言多样性、双语对话、代码切换和术语识别等难题设计。该模型在基准测试中超越 Whisper Large V3、标准 Cohere Transcribe 模型及其他系统,据称是目前最准确的阿拉伯语开源语音转文本系统。模型采用 Apache 2.0 许可,已在 Hugging Face 和 Cohere API 上提供。

7月7日周二
  1. TechCrunch:AI64

    Savi Security 发布反 AI 诈骗 App,抵御语音/短信/电话骗局(如绑架勒索)

    前思科高管 Patrick Coughlin 与兄弟 Ryan Coughlin 创立的 Savi Security 获得 700 万美元种子轮融资,并于周二发布 iOS 与 Android 版 App,保护消费者免受 AI 生成的短信、邮件和电话诈骗。该 App 可实时筛查短信、语音邮件和来电,核心功能是通话中实时监听,通过行为特征判断骗局。定价 8 美元/月或 63 美元/年,不限家庭成员。此前通过匿名网站 Scam Wise 收集超 5 万条可疑内容训练 AI 模型,目前主要采用 Google Gemini 及专用语音检测模型。

  2. MarkTechPost61

    OpenAI 发布 gpt-realtime-2.1 和 gpt-realtime-2.1-mini 低延迟语音模型

    OpenAI 推出两款新型 Realtime 模型:gpt-realtime-2.1 和 gpt-realtime-2.1-mini。mini 版是专注于实时语音交互的迷你推理模型,支持工具调用和可配置推理力度(minimal 到 xhigh),定价与上代 gpt-realtime-mini 相同。2.1 版改进了字母数字识别、静音噪声处理和中断行为,支持语音到语音及指令遵循。两类模型均通过 Realtime API 提供,p95 延迟因缓存改进至少降低 25%。缓存输入 token 价格大幅优惠:mini 版缓存音频输入 $0.30/1M,非缓存 $10.00/1M;音频输出 mini 版 $20.00/1M,2.1 版 $64.00/1M。推理能力使模型可在工具调用前说出前置话语,保持多步对话连贯性。

  3. IT之家·人工智能69

    小米 MiMo-V2.5-ASR 全链路语音模型听觉基座上线,定价 0.5 元/小时

    7月7日,小米旗下 MiMo-V2.5-ASR 全链路语音模型听觉基座正式上线。该模型在中文方言(粤语、吴语、闽南语、四川话等)、中英混转、歌曲识别、强噪音与远场拾音、多人交叉对话、古诗词/专业术语/人名地名知识关联以及原生标点输出等场景均宣称达到业界领先水平。API 按音频转写时长计费,国内 ¥0.5/小时,海外 $0.074/小时。

  4. xAI:News68

    xAI 为 Grok Voice 新增 21 个旗舰语音

    xAI 发布 21 个新旗舰语音,加入原有的 5 个语音。所有新语音均支持多语言,已在实时 Voice Agent API、Text to Speech API 及新推出的 Grok Voice Agent Builder 中可用。每个语音针对客服、角色、解说、广告、教育等场景定制,支持通过 `[pause]` 等语音标签控制表达。原始 5 个语音(Ara、Eve、Leo、Rex、Sal)经重训练后,节奏、措辞和重音的自然度提升。所有语音原生支持 Grok Voice 的 25 种以上语言。

    推荐理由:Grok 一口气放出21种多语言语音,对做语音 agent 的团队是个弹药库更新,但影响的半径基本止于 xAI 生态内部。

  5. TechCrunch:AI43

    iOS 27 beta 现支持自定义 Siri 的语速和表现力

    苹果在今日推送的 iOS 27 beta 3 中开放了此前标记为“即将推出”的语速(Pace)和表现力(Expressivity)滑块。测试者可以在不同口音的多款语音之间切换,并通过滑块调节 Siri 说话的快慢及情感表达程度,调整时 Siri 会实时示范朗读。该更新是苹果围绕生成式 AI 重构 Siri、使其更自然人性化的一部分。

7月6日周一
  1. Apple Machine Learning Research53

    Apple 提出专用小型 seq2seq 模型用于 ASR 纠错

    Apple 机器学习研究团队采用紧凑的 seq2seq 模型进行 ASR 纠错,训练数据来自真实和合成音频的 ASR 错误。通过级联 TTS 和 ASR 构建合成语料,关键在于匹配真实错误分布的多样性。模型采用 correction-first 解码,生成候选后利用 ASR 声学分数重新排序。与 LLM 相比,该模型参数少 15 倍,在 LibriSpeech test-clean/other 上分别达到 1.5% 和 3.3% 的词错误率(WER),优于 LLM,并能泛化至 CTC、Seq2seq、Transducer 等多种 ASR 架构,在低错误率场景中提供精确纠错。

  2. Apple Machine Learning Research49

    连续扩散口语语言模型的缩放性质研究

    Apple与Google团队研究连续扩散(CD)口语语言模型(SLM)的缩放性质。CD SLM直接处理连续语音,避免离散化瓶颈。引入音素Jensen-Shannon散度(pJSD)评估语言质量,发现验证损失和pJSD均遵循缩放定律,最优token-to-parameter比率随计算量增加而下降。扩展至16B参数并采用数千万小时对话数据训练后,可生成富有情感、韵律、多说话人、多语言的语音,但长文连贯性仍为显著挑战。

  3. IT之家·人工智能54

    高德 AI 专车升级:一句话叫来个性化专车,首批上线北京、上海等

    高德 7 月 6 日宣布 AI 专车功能升级。用户用自然语言说出出行状态和目的地(如“一家三口去首都机场,有老人,会晕车”),“AI 专车管家”自动识别多层需求并匹配专车,同时向司机提示平稳驾驶、开窗通风、放行李等个性化服务。用户无需翻菜单、填备注或打电话,长按麦克风说一句话即可叫车。该能力已在高德地图上线,首批覆盖北京、上海、杭州、成都等城市,更新至最新版 App 即可体验。

  4. IT之家·人工智能56

    高德地图升级“AI专车管家”,一句话定制个性化网约车服务

    高德地图升级“AI专车管家”服务,北京、上海、杭州、成都用户更新App至最新版本后,长按麦克风说出状态和目的地即可匹配个性化网约车。例如“一家三口去首都机场,有老人,会晕车”,系统自动安排燃油车并通知司机平稳驾驶、提前开窗通风。行程中持续监控路线与车速,异常时自动触发处置机制。高德还联合合作伙伴提供精选车型并对驾驶员进行系统化培训。

  5. IT之家·人工智能72

    阿里千问升级Fun-ASR-Realtime实时语音识别模型,单模型支持16种方言和30种语言

    阿里千问今日升级实时语音识别大模型Fun-ASR-Realtime,单模型支持16种方言和30种语言,API已上线阿里云百炼平台。在覆盖八大方言区的16种方言识别测试中,字符准确率平均88.62%,在12类方言上领先火山与腾讯相关产品。首字延迟控制在百毫秒级别,流式识别准确率接近离线水平,支持多语言无缝切换。针对泰语等东亚、东南亚语言专项优化后识别准确率提升20%。离线模式模型Fun-ASR-Flash字错率1.7%,位列AI评测平台Artificial Analysis全球第一。

  6. 公众号:通义实验室73

    Fun-ASR-Realtime 发布:单模型支持30种语言与16种方言,识别准确率领先

    通义实验室发布Fun-ASR-Realtime实时语音识别模型。单模型覆盖30种语言及16种方言,针对东亚、东南亚地区重点优化。在工业级方言测评inhouse上取得87.8%的语义准确率,大幅领先,多地方言接近人工水平。引入上下文理解与动态热词注入,实现同音词、品牌名等语义消歧。流式识别首字延迟控制在百毫秒级,准确率接近离线水平,支持多语言无缝切换。API已上线阿里云百炼平台。

    推荐理由:Fun-ASR Realtime把多语言方言和流式一体化做得很扎实,特别是对东亚东南亚的优化,准确率提升明显,做语音应用的产品人可以直接关注。

  7. 公众号:通义实验室65

    Fun-ASR-Realtime 发布:单模型支持 30 种语言与 16 种方言,流式识别准确率接近离线水平

    通义实验室发布 Fun-ASR-Realtime,单模型支持 30 种语言和 16 种方言,在工业级方言测评 inhouse 上取得 87.8% 的语义准确率。该模型支持动态注入热词与对话上下文实现语义消歧,首字延迟控制在百毫秒级别,流式识别准确率接近离线水平,并支持多语言无缝切换。API 现已上线阿里云百炼平台。

    推荐理由:多语言方言的流式识别将语音交互的可用边界从英语推向了东亚与方言市场,使原先因识别不准而难以落地的本地化客服、语音助手等应用获得了新的技术基础。

  8. IT之家·人工智能47

    出门问问与企业微信联合发布 TicNote 企业微信合作款 AI 录音产品

    出门问问与企业微信联合推出 TicNote 企业微信合作款,这是一款便携式 AI 录音产品,全面接入企业微信 AI 能力。录音上传后,AI 自动完成语音转写、多发言人识别、摘要生成及待办事项提取,支持在企业微信内分配和追溯。新增“记录面聊”功能:员工录入声纹后,录音转写可直接识别同事姓名,待办自动提取并 @ 同事加入企微待办。硬件方面,连续录音超 32 小时,单次最长 8 小时自动切片;1 小时录音约 20 秒完成 WiFi 快传;蓝牙 BLE 5.3;采用 AES128 加密,设备直连企业微信,支持远程解绑清空数据。

7月3日周五
  1. 公众号:京东JoyAI68

    JoyAI App 上线 UGC 数字人功能,用户可“捏”出专属虚拟玩伴

    JoyAI App 近日上线 UGC 数字人功能,用户只需上传一张照片即可生成专属虚拟数字分身,支持一键复刻写实形象或通过模板重塑为卡通风格,搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座,集成 JoyAI 语言、语音、数字人大模型,实现行业领先的全双工对话,支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性,可提供点外卖、金融咨询、学英语、规划行程等生活服务。

    推荐理由:京东把数字人技术做成了「传一张照片就能捏」的大众玩具,虽然看不出硬核突破,但对普通用户来说,这是第一次零门槛体验有形象有语音的 AI 玩伴,上手即用。

  2. MarkTechPost64

    Interfaze 开源 diffusion-gemma-asr-small,基于 DiffusionGemma 并行去噪解码器的多语言扩散 ASR 模型

    Interfaze 开源了 diffusion-gemma-asr-small,据称是首个开源多语言扩散 ASR 模型。该模型使用 DiffusionGemma 的离散扩散解码器(26B MoE 骨干,4B 激活参数,128 专家 top-8 路由)进行非自回归语音转文本。仅训练约 42M 参数适配器,冻结 backbone;采用 frozen whisper-small 编码器提取 1500 帧 768 维特征,经可训练投影器(约 19M 参数)压缩为 188 个 2816 维音频 token 注入提示槽,解码器双向并行去噪约 16 步。单适配器支持六种语言。在 LibriSpeech test-clean 上 WER 6.6%,优于同类扩散模型 Whisfusion(8.3%),但落后自回归 Whisper。去噪步数从 8 增至 48 仅提升约 0.1 个 WER 点,8 步时达 14.9 倍实时速度。适配器以 Apache-2.0 开源,DiffusionGemma 和 whisper-small 需单独加载。

  3. IT之家·人工智能41

    腾讯游戏2026年暑期未成年人保护专项行动:升级AI双引擎防沉迷,新增声纹与年龄识别

    腾讯游戏7月3日公布2026年暑期未成年人保护专项行动,在防沉迷新规基础上升级“AI双引擎防沉迷”模式。游戏外推出AI版成长守护,家长可与AI对话管理账号;游戏内上线AI巡航,通过声纹特征检测、年龄识别、代过特征检测等手段打击账号冒用和代过人脸。同时开放全家管控入口及“家庭账号守护”人工服务,家长可拨打成长守护热线(0755-86013799,按2,服务时间9:00-22:00)完成身份授权后统一管控家庭成员账号。

  4. IT之家·人工智能47

    微信输入法新增“语音转文字整理”功能,手机、PC均已上线

    微信派7月2日宣布,微信输入法上线语音转文字整理及隔空传送功能。用户使用语音转文字后,可点击“文字整理”选项优化内容,该功能已在iOS 3.5.1、Android 3.5.0、Mac 2.2.0、Windows 2.1.0等最新版全量上线。隔空传送支持两台均安装微信输入法的设备间快速传输照片和文件。此外,输入法还新增聊天自动匹配表情包功能,输入文字后可通过笑脸标识快速查询表情包。

7月2日周四
  1. IT之家·人工智能47

    大疆发布迷你无线麦克风 DJI Mic Mini 2S:32-bit 浮点内录、自研降噪,399-1199 元

    7月2日,大疆推出 DJI Mic Mini 2S 迷你无线麦克风。发射器重约12克,支持32-bit浮点内录和14.5GB存储(28小时循环内录),内置自研降噪模型,提供强、弱两级AI降噪。单次续航11小时,搭配充电盒总续航约40小时。接收器最多同时连接四个发射器,支持单声道、立体声和四声道模式,无线传输距离最远400米。发射器支持蓝牙直连手机,并可直连Osmo Pocket 4等DJI设备。一拖二套装(含充电盒)1199元,一拖一套装629元,手机版一拖一套装629元,单发射器399元。

  2. IT之家·人工智能56

    AI 技术用于工厂质检:特斯拉车间靠车载麦克风自动检测车辆异响

    特斯拉车辆可自主驶入异响检测工位,车内麦克风捕捉杂音反馈工程团队。公司正研发“全向听觉系统”AI用于交付前识别装配缺陷。工厂各部门部署自研AI智能体系统,覆盖研发、供应链、售后、质检。Cybercab生产线约90%工序全自动化,未来产量或超越所有历史车型(Model Y累计近400万台)。星链有望搭载于Cybercab保障偏远地区信号。Optimus人形机器人首条量产线在弗里蒙特工厂落地,全模块化设计,约40条子生产线在德国制造。

  3. xAI:News77

    xAI 发布 Voice Agent Builder 测试版

    xAI 推出 Voice Agent Builder 测试版,这是一个基于 Grok Voice 的无代码平台,可在两分钟内创建生产级语音智能体。它集成电话、知识检索、工具、MCP、Guardrails 及可观测性,支持连接现有 SIP 号码、API 和 WebSocket,采用语音到语音路径。在 τ-voice Bench 上,Grok Voice Think Fast 1.0 得分 67.3%,领先 Gemini 3.1 Flash Live(43.8%)和 GPT Realtime 1.5(35.3%)。定价为每分钟音频 0.05 美元、电话费 0.01 美元,提供 80+ 种语音及声音克隆,每个账户附赠一个免费电话号码。

    推荐理由:xAI 用 Grok Voice 原生的语音到语音路径,把生产级语音代理的搭建门槛降到了无代码、两分钟,计费也简单,做语音业务的人值得试试。

7月1日周三
  1. ByteByteGo40

    OpenAI 如何为 9 亿用户提供低延迟语音 AI:基于 WebRTC 与 Kubernetes 的架构解析

    OpenAI 每周为 9 亿用户运行语音 AI,采用 WebRTC 协议实现低延迟连续音频流。其架构将堆栈拆分为两部分:无状态中继在地理边缘处理协议感知的数据包路由,有状态收发器管理 WebRTC 状态,通过 ICE ufrag 作为路由键连接两者。该方案解决了 Kubernetes 环境下端口耗尽与状态粘性问题,确保对话式语音 AI 的实时体验。

  2. The Verge:AI53

    Google Home Speaker 评测:硬件出色但 Gemini 尚未成熟

    Google 推出首款“为 Gemini 打造”的智能音箱 Home Speaker,售价 99.99 美元。硬件设计精巧,音质在体积相当的产品中表现良好,支持 360 度音效、立体声配对、Matter 控制及 Thread 边界路由器功能,可配合 Google TV Streamer 作为音频输出。然而,内置的 Gemini for Home 智能助手响应缓慢、不可靠,且部分功能需要付费才能使用。相比前代 Nest Audio,新款音箱尺寸更小但低频偏弱,在同价位竞品(Echo Dot Max、HomePod Mini)中音质排名第三。

  3. OpenBMB55

    面壁智能发布VoxCPM2,一个2B参数的开源语音模型,支持30种语言及9种方言。该模型实现“声音可编辑”:通过提示词指定年龄、音色、情绪和语速,也可上传参考音频保留原音色并重新控制表达方式。实测显示,语音生成已从单纯模仿真人转向按需导演级表演,让声音变得像图片滤镜一样可描述、复制和改写。

    引用Vincent | 信号>噪音@VincentLogic

    本地跑了一遍 VoxCPM2,最让我意外的不是它会说粤语、河南话,而是“声音”正在变成一种可以编辑的东西。 写一句提示词,就能指定年龄、音色、情绪和语速;再上传一段参考音频,它还能保留音色,重新控制表达方式。 以前语音模型追求的是“像不像本人”,现在已经开始解决“能不能按导演要求表演”。 当声音可以像图片滤镜一样被描述、复制和改写,它还算不算一个人的身份特征? 视频里放了方言、情绪控制和真人声音克隆的实测效果。👇

  4. Apple:Newsroom66

    Apple Creator Studio 更新:更智能、更快速、更互联

    Apple Creator Studio 推出多项 AI 增强更新。Final Cut Pro 新增 on-device AI 驱动的 Generate Captions(自动转录音频生成字幕)和 Edit Detection(自动检测剪辑点)。Mac 版加入 Auto Mask(自动识别皮肤、天空等主体)、增强的 Match Color 和 Advanced Trimming。支持将帧发送至 Pixelmator Pro 编辑,并在 Keynote、Pages、Numbers 中直接调用 Pixelmator Pro 修改图片。Logic Pro 新增 Grammy 制作人制作的 Producer Project 及 Chord ID 改进。订阅价 $12.99/月或 $129/年,新用户免费试用一个月,教育用户 $2.99/月。

    推荐理由:Final Cut Pro 的自动字幕和遮罩是实打实的工作流提升,Pixelmator Pro 的深度整合也让设计更顺畅,虽然没有颠覆性突破,但创意工作者今天就能用上。

  5. The Verge:AI51

    Netflix 在《Wonka’s The Golden Ticket》真人秀中使用 AI 复刻 Gene Wilder 声音

    Netflix 真人秀《Wonka’s The Golden Ticket》将于 9 月 23 日首播。预告片旁白由 AI 生成,复刻了已故演员 Gene Wilder 的声音。Netflix 与 ElevenLabs 合作,并已获 Wilder 家人同意。节目被描述为“高赌注社会实验”,12 名金票获得者各携伴侣参赛,冠军将在 9 月 30 日的两集大结局中产生。

6月30日周二
  1. ByteByteGo43

    Thinking Machines 提出“交互模型”概念,突破单线程对话架构

    Thinking Machines 认为当前基于单线程大语言模型的实时对话架构存在天花板,模型只能在用户输入完成后感知,生成时感知冻结。该实验室提出“交互模型”概念,主张让模型能感知语音语调、面部表情和实时打断等连续协作信号,旨在将 AI 从“提示-等待”模式转向更接近人类间实时、可中断的协作。

  2. xAI47

    来自xAI的最先进语音API,现已加入Vercel AI Gateway

    引用Vercel Developers@vercel_dev

    Grok's realtime voice is now on AI Gateway. Build with AI SDK 7: • 𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚟𝚘𝚒𝚌𝚎-𝚝𝚑𝚒𝚗𝚔-𝚏𝚊𝚜𝚝-𝟷.𝟶 (𝚞𝚜𝚎𝚁𝚎𝚊𝚕𝚝𝚒𝚖𝚎) • 𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚝𝚝𝚜 (𝚐𝚎𝚗𝚎𝚛𝚊𝚝𝚎𝚂𝚙𝚎𝚎𝚌𝚑) • 𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚜𝚝𝚝 (𝚝𝚛𝚊𝚗𝚜𝚌𝚛𝚒𝚋𝚎) https://vercel.com/changelog/xai-grok-audio-models-now-available-on-vercel-ai-gateway

6月29日周一
  1. IT之家·人工智能41

    豆包App上线“豆包导航”功能,支持步行与骑行原生导航

    字节跳动旗下豆包App上线内置导航功能“豆包导航”(部分界面显示为“轻导航”)。步行与骑行路线支持App内原生导航,驾车与公共交通路线需跳转至高德地图完成服务,底层地图技术由百度地图提供。用户通过语音或文字输入目的地即可启动,系统生成包含四种出行方案的一体化地图卡片。内置导航配备实时语音播报,同步显示剩余路程、预计耗时、预估抵达时间,并支持悬浮小窗模式,可边导航边使用其他功能。