Meta 发布实时音频感知模型 Muse Voice Transcribe
Meta Superintelligence Labs 发布 Muse Voice Transcribe，称其为首个实时音频感知模型，提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。
推荐理由：原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明，读者可以了解其实时语音感知的实现方式。
技术方向
多模态 最新动态
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
434 条精选近 30 天 27 条共收录 2,632 条
更新
精选归档 · 第 3 页
Meta AI：Research Blog精选AI 评分6464 Runway：News精选AI 评分6767 Runway 发布 Interface World Models 首个模型 Solaris，实时逐帧生成可交互界面
Runway 发布 Solaris，称其为新模型家族 Interface World Models 的第一个模型，由世界模型实时逐帧生成界面并对点击、拖拽等交互作出响应，无需代码等中间表示。
推荐理由：官方完整披露了模型机制、用户研究和局限，读者可以据此理解去除中间表示后界面生成与智能体训练的路径。
IT之家·人工智能精选AI 评分7777 DeepSeek-V4-Flash-Vision-Exp 模型已开源，多模态 Agent 能力接近 Opus-4.8
DeepSeek 于 8 月 31 日在 Hugging Face 开源首个多模态模型 DeepSeek-V4-Flash-Vision-Exp，采用 MIT License，公开模型文件、Tokenizer、Prompt Encoding 参考实现及最小化 PyTorch 推理实现。
推荐理由：原文梳理了模型开源内容与能力定位，读者可据此评估其在多模态 Agent 场景中的可用性。
Unsloth AI@UnslothAI精选AI 评分8181引用Qwen@Alibaba_Qwen⚡️认识一下 Qwen3.8-Flash，一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，现已开放权重！ 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供，价格仅为每 100 万输入 token 0.16 美元，每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入，每个 token 仅激活 6B 参数。性价比无与伦比。 新特性：🥳 - 下一代架构：GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器，作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低：训练成本仅为 Qwen3.7-Plus 的 1/9，同时在各方面表现均优于后者，在编程和办公任务上尤其突出。 - 性能强劲：在 DeepSWE 1.1 上得分 58.7，在 SWE-bench Pro 上得分 62.5，在 CoWorkBench 上得分 73.9，在 AndroidWorld 上得分 84.5，在 MathVision（带 CI）上得分 95.7。 - 原生 262K 上下文，可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重，让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么！👀👇 - 博客：https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告：https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face：https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next
推荐理由：原文给出了本地运行所需的内存档位与量化精度权衡，读者可据此判断自己的设备能否跑动这个 MoE 模型。
Qwen@Alibaba_Qwen精选AI 评分8484引用Qwen@Alibaba_Qwen⚡️认识一下 Qwen3.8-Flash，一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，现已开放权重！ 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供，价格仅为每 100 万输入 token 0.16 美元，每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入，每个 token 仅激活 6B 参数。性价比无与伦比。 新特性：🥳 - 下一代架构：GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器，作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低：训练成本仅为 Qwen3.7-Plus 的 1/9，同时在各方面表现均优于后者，在编程和办公任务上尤其突出。 - 性能强劲：在 DeepSWE 1.1 上得分 58.7，在 SWE-bench Pro 上得分 62.5，在 CoWorkBench 上得分 73.9，在 AndroidWorld 上得分 84.5，在 MathVision（带 CI）上得分 95.7。 - 原生 262K 上下文，可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重，让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么！👀👇 - 博客：https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告：https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face：https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next
推荐理由：训练成本降到前代的九分之一，同时编码和办公任务基准分数更高，对成本敏感的 API 调用场景提供了一个新的权衡参考点。
Qwen：Blog Retrieval精选AI 评分8383 Qwen3.8-Flash-Next 开源：Qwen4 架构早期预览
通义千问开源 Qwen3.8-Flash-Next，一款多模态 MoE 模型，也是 Qwen4 架构的早期预览。该模型采用 GDN + QSA 混合注意力等四项升级，总参数 125B，每 token 激活 6B，训练成本约为 Qwen3.7-Plus 的 1/9，编码与办公任务能力更强。
推荐理由：这次提前开放 Qwen4 架构权重，关键在于 QSA 稀疏注意力与 N-gram 查表参数同时降低长上下文成本、扩大容量，为评估下一代模型提供早期样本。
DeepSeek：API 更新日志精选AI 评分6767 DeepSeek-V4-Flash-Vision-Exp 发布
DeepSeek 上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp，可通过设置 model='deepseek-v4-flash-vision-exp' 在 API 平台访问。
推荐理由：实验版在纯文本能力与正式版持平的基础上补齐视觉，多模态 Agent 基准接近 Opus-4.8，让依赖视觉的 DeepSeek 工作流无需切换后端即可评估更强感知能力。
公众号：DeepSeek精选AI 评分7373 DeepSeek 上线多模态视觉理解模型 V4-Flash-Vision-Exp
DeepSeek 上线多模态视觉理解模型 V4-Flash-Vision-Exp，纯文本能力与 V4-Flash 正式版持平，多模态 Agent 能力接近 Opus-4.8。该模型通过 API 提供，图片按 token 计费，一张最多占 384 tokens，价格与 V4-Flash 一致。同期上线的 Files API 免费，支持图片上传后通过 file_id 复用。
推荐理由：比文本能力持平更实际的是多模态 Agent 能力接近 Opus-4.8，同时图片按 token 计费与 V4-Flash 一致，原先依赖外部视觉模型的 Agent 流程可能改用单一 API 且成本更低。
IT之家·人工智能精选AI 评分7272 阿里发布 Qwen-UI-Agent，主打让模型真正“会用”每一块屏幕
阿里巴巴正式推出 Qwen-UI-Agent，一个以真实世界为中心的 GUI 智能体基座模型，覆盖移动端、电脑端、网页端及深度搜索（DeepSearch）环境。
推荐理由：它把 GUI 智能体评测从模拟分数推向真实手机操作，自建 MobileWorld-Real 基准和百台真机环境，使落地型团队能按真机成功率而非仅看模拟榜单做选型。
- Qwen@Alibaba_Qwen精选AI 评分7171
推荐理由：官方称 27B 稠密多模态模型整体表现超过 Qwen3.7-Plus，262K 原生上下文可扩至 1M，Apache 2.0 协议下本地部署轻量应用多了一个更高效的选择。
- Unsloth AI@UnslothAI精选AI 评分7676
Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本，4-bit 量化可在 17-19GB 内存设备上本地运行，并同时上传 NVFP4 量化。
引用Qwen@Alibaba_Qwen我们承诺过开源 Qwen3.8 的模型权重。现在，是时候见面了！🎉 ⚡ Qwen3.8-27B： - 一款原生多模态稠密模型。仅凭 27B 参数，综合表现超越 Qwen3.7-Plus，在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文，可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量，并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B（Max 级别）的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用，还是用 Qwen3.8-2.4T-A95B 构建智能体，它们现在都属于你了！ 下载、部署，去构建我们尚未想象到的东西吧。👀👇 - Hugging Face： https://huggingface.co/collections/Qwen/qwen38 - ModelScope： https://www.modelscope.cn/collections/Qwen/Qwen38
推荐理由：原文给出了本地运行的具体内存门槛、量化版本和硬件对照表，读者可以据此判断能否在自己的设备上跑通这个 27B 模型。
公众号：小红书技术精选AI 评分7979 dots3-note Preview 开源：280B 参数轻量模型，主打长程智能体与多模态推理
小红书技术开源 dots3-note Preview，这是 dots3 系列最轻量模型，总参数 280B、激活参数 16B，支持 512K 上下文及文本、视觉、语音多模态理解，并针对复杂推理和长程 Agent 任务优化。
推荐理由：除开源模型外，TEMPO 让同一智能体在每个宏观步骤切换为 critic，用测试时推理估计回报，给稀疏奖励长程任务的强化学习训练提供了可借鉴的结构。
MiniMax：Blog精选AI 评分6363 MiniMax Music 3.0 发布：新一代开源权重、生产级全能音乐模型
MiniMax 推出 Music 3.0，新一代音乐生成模型，可根据创意概念和可选歌词一次性完成整首歌的作曲、编曲、演奏与制作，最长支持五分钟。
推荐理由：把简单描述扩展成包含配器进出、情绪曲线和演唱方式的专业模板，降低了非专业创作者控制音乐生成细节的门槛。
Google Developers Blog精选AI 评分6060 Google 开源 C++ 库 Credentio，用于本地验证 C2PA Content Credentials
Google 发布开源 C++ 库 Credentio，用于处理 C2PA Content Credentials，初期支持规范 2.2 和 2.4 版本。该代码此前驱动近 40 个符合 C2PA 标准的 Google 产品，扩展至数百亿个生成的图像、视频、音频和文档资产。
推荐理由：Google 开源了自家验证数十亿生成资产所用的 C2PA 库，本地验证带来零带宽开销和小内存占用，对做媒体溯源工具的开发者有直接参考价值。
IT之家·人工智能精选AI 评分7171 LTX-2.5 模型登场：AI 生成 10 秒 720P 视频仅需 6.8 秒，原生集成 ComfyUI
LTX 推出 LTX-2.5 模型，原生集成 ComfyUI，在 2 张英伟达 GB200 配置下生成 10 秒 720P 视频仅需 6.8 秒。LTX-2.5 Fast 以每秒 0.09 美元生成带音频 720p 视频，10 秒片段成本 0.90 美元；年度经常性收入低于 1,000 万美元的组织可免费使用。
推荐理由：生成速度比同类快数倍，且开放权重允许微调，对需要高频出片或自定义视觉风格的应用，其自托管成本可能低于调用闭源API。
Google Blog：AI精选AI 评分6969 AMIE 研究医疗 AI 系统首次展示实时临床视频问诊能力
Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE，实现实时临床视频问诊，首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建，可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中，临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评，患者演员也更偏好视频体验。
推荐理由：AMIE 在视频中融合视觉与听觉线索进行诊断，展示了多模态临床推理的可行性，对远程医疗产品方向有参考价值。
Liquid AI 模型与工程博客精选AI 评分6767 Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型
Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。
推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。
MarkTechPost精选AI 评分7272 用 ComfyUI API 实现 MiniMax-H3 多模态视频与音频生成流水线
本教程演示如何以 ComfyUI 为无头推理后端，构建端到端的 MiniMax-H3 视频生成工作流。通过 Python 直接构建执行图，支持文生视频、首尾帧条件生成和参考图像条件生成，并自动根据 GPU 显存选择 quality、balanced、squeeze 三种权重配置。流水线涵盖模型自动下载、节点模式校验、音视频联合解码与进度监控，无需图形界面即可复现实验。
推荐理由：用 Python 编程替代 ComfyUI 图形界面，在 Colab 上搭建 MiniMax-H3 视频生成管道，并自动适配不同 GPU 显存方案，教程提供的全流程代码可直接复用。
Artificial Analysis@ArtificialAnlys精选AI 评分7878推荐理由：Apache 2.0 许可和单 GPU 可运行的设计，使团队能在自有硬件上运行与更大模型接近的性能，部署成本与合规风险同时下降。
LMSYS Blog精选AI 评分7272 SGLang 为 Muse Glimmer 提供 Day-0 支持，针对本地智能体工作流优化推理
SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。
推荐理由：SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度，本地智能体工作流不再受限于云端延迟。