Topic · 主题全部主题 →

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

1,316条收录
135条精选

精选归档 · 第 7 页

121135 条 · 共 135

3月24日3月24日周二

星期二 · 1 条
10:01
Hugging Face:Blog(RSS)精选
AI 评分 78/100
全新语音智能体评估框架EVA发布

ServiceNow AI团队在Hugging Face上发布了语音智能体评估框架EVA。该框架通过标准化测试集与多模态指标,系统评估语音助手在对话理解、任务完成及交互自然度等方面的性能,旨在量化衡量智能体在复杂真实场景下的表现,助力研究人员客观比较不同模型,推动技术优化。


推荐理由:提供语音代理评估标准,帮助开发者优化模型性能和测试效率。

1月23日1月23日周五

星期五 · 1 条
00:00
MiniMax:Blog(网页)精选
MiniMax Speech 2.8 语音模型

MiniMax 发布新一代语音模型 MiniMax Speech 2.8,通过原生声音标签技术模拟人类口语中的"嗯"、"啊"等填充词及呼吸停顿,显著提升对话自然度。该模型支持10秒样本高保真声音克隆,精准还原音色与语速,同时消除背景噪音与数字伪影,输出录音室级纯净音质。此外,模型优化了跨语言表现,从普通话-日语对开始解决口音渗透问题,实现更接近母语者的发音效果。


推荐理由:10秒样本克隆真人声线,AI说话带'嗯啊'呼吸声,MiniMax语音模型上新

12月17日12月17日周三

星期三 · 1 条
08:00
xAI:News(网页)精选
xAI 发布 Grok Voice Agent API

xAI 开放 Grok Voice Agent API,基于自研语音栈(VAD、tokenizer、音频模型),Big Bench Audio 基准排名第一,首音频延迟低于 1 秒(比竞品快近 5 倍),定价 $0.05/分钟。支持数十种语言自动切换、实时搜索 X 和网页、调用自定义工具,已深度集成特斯拉车机。提供 Ara、Eve 等多种自然声线,支持 [whisper] 等听觉标签,兼容 OpenAI Realtime API 规范。


推荐理由:xAI发布Grok语音Agent API,延迟低于1秒且定价仅为OpenAI一半,已集成至Tesla车载系统

12月11日12月11日周四

星期四 · 1 条
00:00
智谱:研究(网页内嵌数据)精选
GLM-TTS:基于多奖励融合强化学习,实现工业级语音合成

GLM-TTS 采用 GRPO 多奖励强化学习框架,融合字符错误率、相似度、情感及笑声奖励,实现 3 秒零样本音色克隆。在 seed-tts-eval 测试中 CER 低至 0.89% 达开源 SOTA,情感表达显著优于阿里、百度等商用模型。支持 15% 参数 LoRA 微调定制精品音色,通过 Phoneme-in 混合输入精准控制多音字发音,配合自研 2D-Vocos 声码器提升音质与音域覆盖。


推荐理由:智谱开源GLM-TTS,3秒克隆任意音色并支持喜怒哀乐情感表达

12月10日12月10日周三

星期三 · 1 条
00:00
智谱:研究(网页内嵌数据)精选
GLM-ASR-Nano:面向真实世界的高鲁棒性语音识别

智谱发布开源语音识别模型 GLM-ASR-Nano,仅 1.5B 参数,面向真实世界场景优化鲁棒性,已落地智谱AI输入法。支持通过 Hugging Face Transformers 快速推理。


推荐理由:智谱开源1.5B语音识别模型,端侧可用且针对真实场景优化,适合集成到输入法等产品

11月25日11月25日周二

星期二 · 1 条
00:00
Suno:Blog(网页)精选
AI 评分 56/100
音乐创作的新篇章 · Suno 联合创始人兼首席执行官 Mikey Shulman · 2025年11月25日 Suno 与华纳音乐集团合作,共同构建交互式音乐的未来 公告

Suno宣布与华纳音乐集团达成合作。Suno已拥有近1亿音乐创作者社区,此次合作旨在推出更强大的创作功能、提供与WMG旗下艺术家互动的机会,并基于授权音乐构建新一代Suno模型,其性能将超越v5。未来,部分同意授权的WMG艺术家声音与形象可用于新的AI生成音乐创作体验,为其开辟新收入渠道。同时,歌曲下载功能将调整为仅限付费用户使用,而Suno Studio作为专业工具将保持现有功能并持续更新。


推荐理由:Suno和华纳的牵手,意味着AI生成音乐终于拿到了正版内容的通行证,从此不用再躲躲藏藏,对音乐创作者和听众都是质变信号。

11月21日11月21日周五

星期五 · 1 条
08:00
Hugging Face:Blog(RSS)精选
AI 评分 83/100
Open ASR 排行榜新增多语言与长格式赛道,揭示模型性能新挑战

Hugging Face 的 Open ASR 排行榜新增多语言和长格式语音识别评估赛道。多语言赛道涵盖8种语言,长格式赛道则测试模型处理连续数分钟语音的能力。新榜单显示,领先模型在多语言任务上的词错误率平均比专用单语模型高约15%,在长格式任务上错误率可能上升超20%,凸显了模型在实际应用中的泛化能力仍面临严峻挑战。


推荐理由:ASR排行榜新增多语言和长形式评估,助力开发者优化语音应用。

10月30日10月30日周四

星期四 · 1 条
00:00
MiniMax:Blog(网页)精选
MiniMax发布新一代语音模型Speech 2.6

MiniMax发布语音模型Speech 2.6,端到端延迟降至250毫秒内,支持实时对话。新增多语言特殊格式解析能力,可自动朗读URL、邮箱、电话、日期及金额,无需预处理。推出Fluent LoRA功能,即使源录音带口音也能保留音色并生成流畅语音,支持40余种语言。已被LiveKit、Vapi等平台及智能硬件采用。


推荐理由:MiniMax发布Speech 2.6语音模型,支持Voice Agent场景,实现超低延迟与Fluent LoRA语音克隆优化。

10月24日10月24日周五

星期五 · 1 条
08:48
美团 LongCat:HuggingFace 新模型精选
美团开源全模态模型LongCat-Flash-Omni

美团开源全模态模型LongCat-Flash-Omni,采用5600亿参数MoE架构(激活270亿),支持128K上下文与实时音视频交互。模型基于快捷连接MoE与零计算专家,配备轻量级编解码器及分块特征交错机制,通过课程式渐进训练提升效率。在OmniBench、WorldSense等基准测试中超越Qwen3-Omni与Gemini-2.5-Pro,在文档理解、语音识别及GUI控制等任务中达到领先水平。

另有 1 家信源报道美团 LongCat:HuggingFace 新模型
推荐理由:美团开源 560B 参数多模态模型,27B 激活即可实现实时音视频交互

9月29日9月29日周一

星期一 · 1 条
11:19
蚂蚁 inclusionAI:GitHub 新仓库精选
AI 评分 57/100
inclusionAI发布MingTok-Audio:首个统一连续语音分词器

inclusionAI团队推出了MingTok-Audio,这是首个能有效融合语义与声学特征的统一连续语音分词器,适用于语音理解与生成任务。该模型基于纯因果Transformer架构,去除了卷积层以提升效率,并采用VAE进行连续特征建模以实现高质量音频重建。在语音重建性能上,其帧率为50,在SEED-ZH和SEED-EN测试集上的PESQ分别达到4.21和4.04,SIM为0.96,STOI为0.98,显著优于对比模型。在下游ASR任务中,其在多个方言数据集上取得了更低的错误率,例如在Hunan Minnan数据集上WER低至9.80%。


推荐理由:蚂蚁把语音 tokenizer 做到了 PESQ 4.2 的离谱分数,比第二名翻了快一倍,做语音理解和生成的团队值得拿这个当新 baseline 跑一下。

6月30日6月30日周一

星期一 · 1 条
00:00
Suno:Blog(网页)精选
AI 评分 55/100
Suno收购浏览器数字音频工作站WavTool

音乐技术公司Suno宣布收购完全在浏览器中构建的AI加速数字音频工作站WavTool。WavTool的核心团队将加入Suno并担任产品及工程领导职务。此次收购将WavTool的专业级编辑功能(支持VST插件、采样精确编辑等)与原生AI能力(如音轨分离、AI生成MIDI)整合到Suno平台,旨在增强对专业词曲作者和制作人的支持。Suno CEO表示,此举是为了更好地赋能音乐家,而WavTool联合创始人则认为双方在AI辅助音乐创作的愿景上高度一致。


推荐理由:一年前的收购,现在看仍是 Suno 从消费级玩具迈向专业工具的关键一步,但新鲜度早没了,只适合补看脉络。

6月12日6月12日周三

星期三 · 1 条
00:00
Suno:Blog(网页)精选
AI 评分 55/100
Audio Inputs--通过 Mikey Shulman(联合创始人兼 CEO)发布·2024 年 6 月 12 日,用任何声音创作一首歌 产品更新

Suno 发布 Audio Inputs 功能,所有 Pro 和 Premier 用户可上传或录制 6-60 秒的音频片段,通过“Extend”模式选择起始时间戳、设定风格,并可添加歌词来创作歌曲。社区创作者已用其提供自定义音频引子来设定氛围、节奏和乐器灵感。该功能会阻止受版权保护作品的上传,且所有包含人声的输入将保持私密并不可搜索。


推荐理由:Suno 把上传录音做歌的门槛降到极低,对音乐创作者和普通用户都友好,只是这已经是前年的更新,之后的同类功能可能更完善。

5月14日5月14日周二

星期二 · 1 条
01:39
Sam Altman:Blog(RSS)精选
GPT-4o

OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放,无广告。全新语音(及视频)模式响应速度接近人类,表现力极强,被 Sam Altman 称为「用过最好的计算机界面」,像电影里的 AI。未来还将支持个性化、代操作等功能。


推荐理由:Sam Altman 解读 GPT-4o 发布,强调语音交互与免费策略