跳到正文

技术方向

多模态 最新动态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

423 条精选近 30 天 37 条共收录 2,608 条

更新

精选归档 · 第 4 页

8月10日周一第 61–80 条
  1. Qwen71

    👀 看见只是开始。 借助 Qwen-MM-Plugins，让你的智能体原生支持多模态——读取图片、视频和文档，编辑视频，处理 3D/CAD，以及更多。 从多模态模型 → 多模态智能体。🚀 观看实际效果：https://github.com/QwenLM/Qwen-MM-Plugins

    推荐理由：让智能体直接获得视觉、文档和 3D 感知能力，把原本需要单独集成的工作流变成一组可调用的插件，原型开发速度可能因此加快。

  2. MarkTechPost75

    NVIDIA 发布 NemotronLabs VoiceChat 11B：开源全双工语音模型，支持约 450 毫秒轮换与实时工具调用

    NVIDIA 发布开源端到端全双工语音对话模型 NemotronLabs VoiceChat 11B，在统一网络中完成流式语音理解与生成，实测轮换延迟 448 毫秒。该模型为首个支持对话中工具调用的开源全双工模型，通过独立输出通道及预置“保持”话术避免 API 执行期间冷场。权重与容器已公开，但仅限研究用途，需单张 80 GB 显存 GPU，目前无托管 API。

    推荐理由：端到端语音模型消除级联延迟，而工具调用侧通道和保留消息设计在不中断对话的前提下补齐了API等待期，让实时语音智能体更容易工程化。

8月8日周六
  1. IT之家·人工智能76

    苹果 Mac 简体中文支持文档更新，“Apple 智能”阿里千问扩展现身

    苹果官网 Mac 简体中文使用手册新增《在 Mac 上配合 Apple 智能使用千问》支持文档，明确 Apple 智能可配合阿里巴巴千问模型工作。千问扩展适用于 macOS 26.6 或更高版本，需中国大陆 Apple 账户及机型，支持写作工具与 Siri，用户需登录千问账户使用。

    推荐理由：苹果智能在中国大陆的落地路径终于清晰，支持文档揭示了写作工具和Siri集成千问的具体方式，Mac用户将能在系统级直接使用大模型能力。

8月7日周五
8月6日周四
  1. NVIDIA Blog71

    NVIDIA Cosmos 3：开放世界模型如何推动物理 AI 前沿

    NVIDIA 发布 Cosmos 3，一个基于混合 Transformer 架构的开放物理 AI 基础全模态模型，整合视觉推理、世界生成与动作预测。

    推荐理由：介绍 Cosmos 3 作为开放物理 AI 基础模型的架构、基准表现和行业用例，为需要定制世界模型的机器人、自动驾驶和视觉 AI 团队提供了可直接参考的技术路线。

  2. OpenBMB65

    面壁智能 OpenBMB 在 #BuildSmall 黑客松推出 AMNESIAC，一款反向图灵测试交互游戏：玩家需说服 AI 审讯官 A.M.N. 自己是人类。该游戏由 MiniCPM-o 4.5 驱动实时对话与推理，VoxCPM 生成审讯官语音，并结合摄像头面部表情、脉搏信号与响应计时进行多模态审讯。项目已开源至 HuggingFace。

    推荐理由：将摄像头面部信号、语音对话和LoRA角色塑形组合进一个可玩演示，为交互式AI角色提供了比常见聊天机器人更丰富的多模态模板。

8月5日周三
  1. MarkTechPost79

    NVIDIA 发布 Alpamayo 2 Super：面向 Robotaxi 与自动驾驶的 34B 开源视觉-语言-动作模型

    NVIDIA 发布 Alpamayo 2 Super，一款 34B 参数的视觉-语言-动作（VLA）模型，专为自动驾驶长尾事件设计，权重采用 Linux 基金会 OpenMDW-1.1 许可，代码为 Apache 2.0，发布首日即可商用。

    推荐理由：轨迹与因果解释同时输出，可接入Halos安全验证，自动驾驶团队据此向监管证明决策合理性，减少黑盒依赖。

  2. 字节 Seed：Research Feed78

    字节 Seed 发布 SeedRealtime 音视频全双工大模型，走向全模态自然交互

    字节 Seed 发布 SeedRealtime，用统一架构原生融合音频、视频与文本，实现“边看、边听、边说”的实时交互。相比级联模型，其音视频对话节奏问题减少一半，并已在豆包 App 全量上线，率先实现音视频全双工技术的规模化落地。

    推荐理由：SeedRealtime 将音视频感知与表达统一到同一端到端模型中，级联系统常见的说话节奏问题减少了一半，实时场景中能主动提醒并自然停顿，为全模态智能助手交互提供了新的技术路线。

  3. Qwen68

    阿里通义千问发布 Qwen-Image-3.0-Pro 与 Standard，现已在 Qwen Cloud 上线。该模型在 Arena 文生图榜单中位列中国模型第一、主流模型第二，支持 4.5k-token 提示词、10px 级文字渲染及 12 种语言。Pro 版起价 $0.04/张，Standard 版起价 $0.03/张。

    引用Qwen Cloud@qwen_cloud

    🔔 Qwen-Image-3.0 现已在 Qwen Cloud 上线！ 在 Arena. ai 的文生图竞技场 @arena 中，位列中国模型第 1 名、主流模型第 2 名，现在只需一次 API 调用即可使用。 - 支持高达 4.5k token 的提示词：一次生成报纸、故事板、菜单、试卷 - 文字清晰度低至 10px，细节近乎照片级 - 支持 12 种语言、100+ 种艺术风格，逼真的 UI 模拟 - 生成 + 编辑集于一个模型 💰价格： Qwen-Image-3.0 Pro — 最适合复杂布局、精准文字渲染和商业级视觉，每张图起价 $0.04。 Qwen-Image-3.0 Standard — 适合批量、日常图像生成，每张图起价仅 $0.03。 Qwen-Image-3.0-Pro 与 Standard。从提示词到可直接投产的图像。 👉 在 Qwen Cloud 上试用并获取你的 API key：https://www.qwencloud.com/models/qwen-image-3.0-pro?utm_content=g_20000001188 - 主流模型 = 日均 MaaS API 调用量超过 10 万的模型系列 #QwenCloud #Qwen

    推荐理由：生成与编辑合并在单一模型内，多语言长文本排版的门槛和每次调用成本都明显降低。

  5. OpenRouter66

    @bfl_ai 的 FLUX 3 Video 现已在 OpenRouter 上向所有人开放。 一个统一的视频、音频、图像和动作预测多模态模型家族。严肃、有趣、创意、真实、电影感，随你所需。基于统一架构联合训练。

    推荐理由：联合训练的统一架构下，视频生成与图像、音频共享基础能力，跨模态创作的结果可能更连贯，改变了单独优化各模态的传统思路。

  6. SenseTime67

    商汤发布开源模型 SenseNova U1，可在统一流程中同时进行推理与图像生成。其信息图模式可将单条提示词转为结构化幻灯片，交错模式则逐步生成图文内容，如演示六步画龙教程。模型已上线 SenseNova Studio、HuggingFace 及 GitHub。

    推荐理由：把推理和图像生成整合进单一模型流，信息图模式和逐步教程展示了从推理到可视化的直接路径，为需要图文连贯输出的应用提供了可探索的开源方案。

  7. LlamaIndex：产品、工程与评测66

    LlamaIndex：文档 OCR 不会被前沿模型商品化，LlamaParse Agentic 以 84.9% 领先

    LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点，称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench（约 2,000 个人工核验的企业页面、167,000+ 条测试规则）显示，GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍，最新最贵模型仍比专用前沿低 20 分。

    推荐理由：文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化，并给出路由、蒸馏、文本层复用等可迁移的工程方法。

8月4日周二
  1. Mistral AI：News63

    Mistral 开源 3B 多模态安全分类器 Shieldstral，支持推理时自定义政策无需重训

    Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral，以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务，推理时用自然语言问题传入政策即可返回校准的安全分数，无需重训练，统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。

    推荐理由：原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现，适合想自建安全审核方案的开发者参考。

  2. Greg Brockman66

    GPT-Live 是一种用于实时音频的新架构和栈： GPT-Live 可以在说话的同时聆听。 为了让这种体验在 ChatGPT 规模下显得自然，我们从客户端到模型重建了语音栈。 这一新架构让音频持续流动，因此更深入的推理和工具使用不会打断对话。

    引用OpenAI@OpenAI

    GPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然，我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动，因此更深入的推理和工具调用不会打断对话。

    推荐理由：在 GPT-Live 架构下推理与工具调用期间音频流不间断，语音交互的等待感和打断感被显著消除，适用于需要持续对话的陪伴和协作场景。

8月3日周一
  2. Kimi.ai70

    使用 Kimi Work 制作幻灯片 - 教程 #1。 Kimi Slides 处理整个幻灯片制作流程： - 清晰的结构与研究，由 Kimi K3 驱动 - 连贯的设计，包括精美的图表和 SmartArts - 可编辑并可直接下载 欢迎在评论区告诉我们你还想看什么内容！

    推荐理由：教程展示了如何用 Kimi Slides 一站式完成幻灯片的结构、设计和下载，对需要快速产出演示文档的 Kimi 用户有直接可用性，但完整效果仍取决于实际模板和内容质量。

  3. 公众号：MiniMax75

    MiniMax H3 正式开源：通用全模态生成系统支持 2K 视频与原生立体声

    MiniMax 正式开源新一代通用视频模型 H3，可统一理解文本、图像、视频和音频，生成最高 2K 分辨率、最长 15 秒、带 32 kHz 原生立体声音频的视频。

    推荐理由：与多数开源视频模型不同，H3 原生支持同步生成立体声音频，且通过上下文再生成实现 2K 分辨率，为音视频生成应用提供了更完整的开源基座。

8月2日周日