Greg Brockman@gdb精选AI 评分7676引用cayden 凯登@caydengineer
OpenAI 刚刚发布了一种全新的模型 gpt-realtime-translate 接收任意语言的语音音频，并输出你目标语言的语音 LLM 很棒，但针对特定用例你需要专门的模型 我们正在我们的智能眼镜上运行这个
推荐理由：OpenAI悄悄推出一个专门做实时语音翻译的模型，不是通用LLM，而是专用模型。这标志着AI交互从文字转向语音的第一步，做翻译硬件或AR眼镜的团队要睡不着了。
技术方向
语音与音频 最新动态
AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
193 条精选近 30 天 17 条共收录 1,435 条
更新
精选归档 · 第 6 页
- Greg Brockman@gdb精选AI 评分7676
IT之家·人工智能精选AI 评分7474 小米开源可控视频音效生成模型 ControlFoley，让声音“按你想要的来”
小米大模型应用团队发布开源可控视频音效生成模型 ControlFoley，旨在解决创作中的可控性难题。该模型统一支持文本引导视频配音、文本控制视频配音和参考音频控制视频配音三类任务。ControlFoley 在 VGGSound-Test 等多个 benchmark 上取得开源 SOTA 表现，其代码、模型权重和在线 Demo 均已开放。
推荐理由：小米开源的 ControlFoley 把视频音效生成从“看画面配声音”推进到“按意图来”，开源 SOTA 且直接提供 Skill，做视频创作的可以上手试试。
TechCrunch：AI精选AI 评分7272 Sesame，这家由Oculus创始人创办的对话式AI初创公司，发布其iOS应用
由Oculus创始人创办的AI初创公司Sesame发布了其iOS应用，该应用将对话式AI智能体带给公众。应用提供更自然的来回交互体验，设计上区别于传统聊天机器人，旨在让用户感觉更像在和真人对话。
推荐理由：Oculus创始人做的对话AI，交互设计大概率能看到一些VR时代的人机直觉。虽不是大模型层创新，但产品体验可能重新定义什么样的对话才叫自然。
ElevenLabs：Blog精选AI 评分6262 ElevenLabs 发布 Dubbing v2 AI 配音模型，保留原始情感表演并支持 90+ 语言
ElevenLabs 发布 Dubbing v2 AI 配音模型，通过直接以原说话者的表演为条件生成语音，保留语气、节奏、停顿和情感意图，并同步适配到 90+ 语言的口语表达。
推荐理由：原文说明了模型直接基于原表演生成配音的思路，以及面向创作者、营销团队和工作室的不同入口，可用于判断是否替代现有配音流程。
Midjourney：Updates精选AI 评分5959 Web 更新
对话模式在文本和语音输入方面进行了改进。语音会话开始时，可访问用户的图像提示、风格参考、侧边栏设置和最近任务。图像提示功能现可从托盘和侧边栏直接使用。在语音提交过程中，托盘中的图像将保持不变，直至用户手动移除。
推荐理由：Midjourney给语音模式补了一课——现在它能记住你正在用的图片参考和风格设置，语音创作不用反复翻找，用完即走的轻量用户可能无感。
Hugging Face 社区博客精选AI 评分7272 Reachy Mini 实现完全本地化语音交互
Reachy Mini 机器人现可通过 `speech-to-speech` 库实现完全本地化的语音交互，无需依赖云端。该方案采用级联流水线架构，对外提供 Realtime API 兼容的 WebSocket 接口。默认组件包括 Silero VAD 用于语音活动检测、Parakeet-TDT 作为语音转文本模型、通义千问（Qwen3-TTS）作为文本转语音模型。大语言模型推荐使用 llama.cpp 运行 Gemma 4。所有数据均在本地处理，保障了隐私且无 API 费用。
推荐理由：小众硬件的本地语音实战，但HF这套开源管线证明端到端对话已完全可用，所有组件都可自由替换，想做本地化语音助手的人可以照抄。
- Greg Brockman@gdb精选AI 评分6666引用Simon Smith@_simonsmith
你现在可以使用 Codex 实时转录会议，并在会议进行过程中向 Codex 提问！ 我更新了我的新 Codex Meeting Recorder 技能，使其使用 GPT Realtime Whisper。告诉 Codex 使用该技能，它就会开始转录并在预览窗格中显示。你可以在转录生成过程中就转录内容提问。会议结束后，告诉 Codex 结束，你就会得到完整的转录文本和一个格式化版本（格式化版本还需要改进；已在我的待办清单上）。 请注意，由于这使用的是 GPT Realtime Whisper 端点，它比在会议结束时再转录更贵，每分钟 $0.017（所以一场 30 分钟的会议大约 $0.51）。我正在考虑未来添加一个本地实时选项，比如使用 Nemotron Speech Streaming。 GitHub 链接在帖子串中，还有一些说明。
推荐理由：Greg 转发的这个 Codex 技能把实时会议转录和问答直接塞进了编辑器，0.5 美元一场会，做会议纪要的可以立刻用起来。
ElevenLabs：Blog精选AI 评分6464 ElevenLabs 发布 Music v2，人声与编曲能力提升并下调定价
ElevenLabs 发布 Music v2，提升人声、器乐和编曲质量，支持单首歌内从歌剧切换到重金属、局部 inpainting 重新生成与逐段构建完整歌曲，多语言歌词与演唱表现更稳定。
推荐理由：原文来自 ElevenLabs 官方，给出模型能力细节、三平台定位和降价幅度，可帮助读者评估其在音乐生成场景的可用性。
StepFun@StepFun_ai精选AI 评分7676推荐理由：StepFun 这个语音模型把副语言感知做进了实时 API，产品人想搞点情感化语音交互的可以试试，预设角色能省不少调 prompt 的功夫。
ChatGPT@ChatGPTapp精选AI 评分6969用对话处理文书工作更轻松。 借助ChatGPT的图像功能和语音模式，您可以上传表单，说出要填写的内容，即可获得填写完成的版本。
推荐理由：填表终于不用打字了，上传表格对着说就行，ChatGPT 这个更新把语音和图像真正串起来，以后各种纸质表单直接扔进去就完事。
IT之家·人工智能精选AI 评分7070 网易有道“子曰4”多模态模型、语音合成模型全量开源
网易有道宣布将其“子曰”大模型4.0的多模态模型与语音合成模型面向全球全量开源。其中，多模态模型（27B参数）专注于教育场景，在处理高难度视觉数理问题上达到行业顶尖水平，纯文本中文数理难题准确率为81.4%。该模型通过思维链优化，将输出长度压缩43.2%，有效降低了推理成本。同时开源的语音合成模型支持跨语种音色与情感迁移克隆，3秒内即可完成零样本复制，准确度超97%，并支持包括中、英、日、韩在内的14种语言。
推荐理由：有道把垂直教育的多模态模型全量开源，27B参数在视觉数理上做到SOTA，还把思维链压缩了43%，推理成本实打实下降，做教育应用的可以拿来做二次开发；TTS的跨语种情感克隆也实用，3秒克隆14种语言。
OpenClaw🦞@openclaw精选AI 评分6666推荐理由：一堆小修小补但都很实用，尤其 Android 实时对话模式，开源 AI 客户端里难得把体验做到这个程度，值得更新。
Google Blog：AI精选AI 评分7575 Google Workspace 推出全新创建方式与高效工作功能
Google 在最新更新中为 Gmail、Docs 和 Keep 增添了新的语音功能，并推出了一款名为 Google Pics 的全新设计工具。同时，其 AI Inbox 功能也得到了升级与优化。这些更新旨在进一步提升用户在工作场景中的协作效率与创作体验，通过集成更智能的工具和交互方式，帮助用户更便捷地完成多项任务。
推荐理由：Google Workspace 直接植入了语音操作和设计工具 Pics，这波更新对办公效率很实在，做产品和运营的可以关注一下实际落地效果。
Qwen：Blog Retrieval精选AI 评分7777 Qwen3.5-LiveTranslate：从声音到视觉，从词语到准确
Qwen3.5-LiveTranslate-Flash 是 Qwen 家族最新的同声传译模型，基于 Qwen3.5-Omni 架构，支持实时多模态翻译（音频、视频及视觉上下文）。语言覆盖大幅扩展：输入音频与输出文本从18种增至60种，输出音频从10种增至29种。采用 Readable Unit 技术，平均端到端每 token 延迟降至2.8秒，相比前代首 token 延迟降低3.45秒、每 token 延迟降低1.88秒。支持一句话启动的实时语音克隆和可动态配置的热词增强。在 FLEURS 和 CoVoST2 基准上翻译准确率超越主流商用大语音模型。
推荐理由：这个版本让同声传译从“能用”变成了“好用”，语言覆盖从 18 跃升 60，延迟压到 2.8 秒，加上视觉消除歧义，做国际业务和直播的人值得跟进。
OpenRouter@OpenRouter精选AI 评分6565推荐理由：如果你觉得官方 Grok API 麻烦，OpenRouter 现在一口气上线了 Imagine 图像、视频和 Voice TTS，做创意产品的开发者可以直接从这里调用了，省去多签一轮 API key 的功夫。
Demis Hassabis@demishassabis精选AI 评分8181引用Google DeepMind@GoogleDeepMind我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写，在屏幕上直观地指挥 Gemini 完成任务 🧵
推荐理由：用了50年的鼠标指针第一次被AI改造，这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini，产品经理和设计师都该去玩一下。
Thinking Machines Lab：官方博客精选AI 评分5959 Thinking Machines Lab发布Interaction Models研究预览
Thinking Machines Lab发布interaction models研究预览。该模型从零训练，原生处理音频、视频和文本，采用多流微回合设计实现实时响应，无需外部脚手架。研究预览展示了全新的交互能力，并在智能性与响应性上取得综合SOTA表现。
推荐理由：Thinking Machines 把实时交互训进了模型本身，不再是外挂脚手架，微轮次架构和 benchmark 数据很硬，做语音/视频助手的可以认真看看，虽然还是研究预览，但方向值得盯着。
OpenAI Developers@OpenAIDevs精选AI 评分7474以下介绍如何集成GPT-Realtime-2为CRM工作流添加语音控制功能。
推荐理由：OpenAI 官方手把手教你怎么把 GPT-Realtime-2 的语音能力接进 CRM，想给企业工作流加语音控制的开发者可以直接抄作业。
Suno@suno精选AI 评分6868
推荐理由：Suno 这个用纯人声做流行歌的功能，把创作门槛砍到零，以后做 demo 比打字还快，玩音乐的一看就会想试。
- OpenAI Developers@OpenAIDevs精选AI 评分7676
推荐理由：官方出了 Realtime-2 的提示工程指南，从调参到工具调用都给了清晰路径，做语音产品的同学值得认真翻一遍，能省几周摸索时间。