多模态 最新动态

inclusionAI发布LLaDA2.0-Uni模型

LLaDA2.0-Uni是一个统一的多模态模型，具备对世界的理解与生成能力。该模型通过整合视觉、语言等多模态信息，实现了跨模态的语义理解和内容生成。其架构支持从图像理解到文本生成、跨模态检索等复杂任务，标志着多模态人工智能向更通用、统一的方向演进。

使用 Sentence Transformers 训练与微调多模态嵌入及重排序模型

Sentence Transformers 发布了用于训练和微调多模态嵌入与重排序模型的功能。新版本支持将文本、图像等不同模态的数据映射到统一的向量空间，并优化了跨模态检索的精度。关键改进包括对嵌入模型和重排序器进行联合或分阶段训练，显著提升了如图文检索等任务的性能指标。此次更新旨在通过开源工具推动多模态人工智能技术的普及与发展。

Gemini 3.1 Flash TTS：下一代表现力AI语音技术

Google正式发布Gemini 3.1 Flash TTS，作为下一代表现力AI语音技术，该模型现已全面上线Google旗下各产品线。此次升级标志着Google在语音合成领域的技术突破，旨在为用户提供更自然、富有情感表现力的AI语音交互体验，进一步强化其AI生态系统的语音能力。

字节 Seed 发布 Seedance 2.0 音视频联合生成模型

字节 Seed 发布原生多模态音视频生成模型 Seedance 2.0，2026 年 2 月初在中国正式上线，采用统一架构支持文本、图像、音频、视频四种输入模态。

Gemini Robotics-ER 1.6：通过增强具身推理赋能真实世界机器人任务

Gemini Robotics-ER 1.6 正式发布，通过增强具身推理能力为真实世界机器人任务提供底层支持。该版本重点升级空间推理与多视角理解功能，使自主机器人能够更精准地解析三维环境、理解物体间空间关系，并在复杂场景中实现高效决策与操作执行，显著提升机器人在物理世界中的感知与交互性能。

基于 Sentence Transformers 的多模态嵌入与重排序模型

Sentence Transformers 开源社区发布了支持多模态的嵌入与重排序模型。新模型能够同时处理文本和图像输入，生成统一的语义向量表示，并可通过交叉编码器实现细粒度相关性重排序。该版本显著扩展了原框架的纯文本能力，支持图像-文本检索、跨模态匹配等场景，所有代码与预训练模型均已开源，延续了其推动AI民主化的目标。

Meta Superintelligence Labs 发布 Muse Spark 多模态推理模型

Meta Superintelligence Labs 发布 Muse 系列首个模型 Muse Spark，为原生多模态推理模型，支持工具使用、视觉思维链和多智能体编排，已在 meta.ai 和 Meta AI 应用上线并开放部分用户的私有 API 预览。

Artificial Analysis@ArtificialAnlys· 01:09精选

Google DeepMind推出Gemma 4系列四款多模态开源模型，支持文本、图像及视频输入。31B（密集架构）与26B A4B（MoE架构）拥有256k上下文窗口，可在单张H100运行；另两款较小模型支持128k上下文。GPQA Diamond测试中，Gemma 4 31B（Reasoning）获85.7%，仅次于Qwen3.5 27B，但输出token仅约1.2M，效率更优；26B A4B（Reasoning）得分79.2%，超越gpt-oss-120B。

Satya Nadella@satyanadella· 22:29精选

MAI 模型家族正式登陆 Foundry 平台，推出三款新模型：MAI-Transcribe-1（支持25种语言的最准确转录模型）、MAI-Voice-1（自然语音生成）和 MAI-Image-2（最强图像生成模型）。开发者现可通过该平台直接调用。

Welcome Gemma 4: 设备端的 Frontier 多模态智能

Google 正式发布了 Gemma 4，这是一款前沿的多模态人工智能模型，其核心特点是能够在设备端本地运行。该模型通过开源方式发布，旨在推动人工智能技术的进步与民主化。Gemma 4 的“在设备端”能力意味着数据处理可在本地完成，无需持续连接云端，这有望提升响应速度、增强隐私保护并实现离线使用。此举是 Google 通过开源和开放科学来普及人工智能的持续努力的一部分。

Granite 4.0 3B Vision：面向企业文档的紧凑型多模态智能

IBM Granite团队发布了Granite 4.0 3B Vision模型，这是一个专为企业文档处理设计的紧凑型多模态大语言模型。该模型参数为30亿，具备视觉理解能力，能够同时处理文本和图像信息，特别针对报告、表格、图表等企业文档进行优化。其紧凑尺寸旨在降低部署和运行成本，使企业能够在资源受限的环境中高效实现文档智能分析、信息提取和知识管理。模型已在Hugging Face平台发布。

Qwen3.5-Omni：全面扩展，迈向原生全模态 AGI

Qwen Studio 发布，集成聊天机器人、图像视频理解、图像生成、文档处理、网页搜索、工具使用及 Artifacts 功能，提供全模态 AI 一站式解决方案。

当前前沿模型视觉理解的幻象

当前前沿多模态大模型在标准胸部X光问答基准测试中，无需访问任何图像即可获得顶级排名。这一反常现象暴露出模型视觉理解能力的严重缺陷，表明其性能可能依赖数据偏见或文本线索而非真实的图像解析能力。研究揭示了现有视觉语言模型评估体系的深层漏洞，指出所谓"视觉理解"可能只是缺乏真实感知能力的幻觉。

基于 Lyria 3 构建：全新音乐生成模型开放预览

Lyria 3 音乐生成模型现已开放付费预览，开发者可通过 Gemini API 调用，或在 Google AI Studio 免费测试。

Vibe Coding XR：基于 XR Blocks 与 Gemini 加速 AI + XR 原型开发

Google XR 团队推出 Vibe Coding XR 工作流，结合 Gemini Canvas 与开源框架 XR Blocks，利用长上下文推理能力将自然语言提示在 60 秒内转化为可交互、支持物理效果的 WebXR 应用。该方案基于 WebXR、three.js 和 LiteRT.js 构建，支持手势交互与深度感知，可在桌面模拟环境或 Android XR 头显中实时预览。已展示的应用包括几何可视化数学辅导和交互式物理实验室，用户可通过捏合等手势操作 3D 对象，快速验证空间交互设计。

跳跃即玩：利用Gemini与MediaPipe进行开发

该工作流通过Gemini Canvas，借助高级提示词快速原型化MediaPipe Pose Landmarker等体感游戏机制。开发者可在Google AI Studio中优化原型，采用低延迟的“轻量”模型和稳定的追踪点（如肩部关节点）以确保游戏响应灵敏。最后，流程利用Gemini Code Assist将实验性代码重构为模块化、可用于生产的应用程序，使其能够支持多种多模态输入，从而显著简化了体感控制游戏的开发过程。

Artificial Analysis@ArtificialAnlys· 19:48精选

Mistral发布开源权重模型Mistral Small 4，采用119B参数MoE架构（每token激活6.5B参数），支持可切换的推理/非推理模式及图像输入。推理模式在Artificial Analysis Intelligence Index获27分，超越Mistral Large 3，但低于gpt-oss-120B等竞品。模型token效率优于同类，幻觉率更低（AA-Omniscience -30分），支持256K上下文窗口，采用Apache 2.0许可证。

Demis Hassabis@demishassabis· 11:12精选

Google 发布 vibe design 平台 Stitch，支持自然语言描述直接生成高保真界面和交互原型，可通过语音实时调整布局。目前仅面向 18 岁以上用户，在 Gemini 支持的英语国家开放。

Qwen3.5-Max-Preview 现已上线 Arena

Qwen3.5-Max-Preview 已登陆 LMSYS Chatbot Arena。Qwen Studio 提供聊天机器人、图像与视频理解、图像生成、文档处理、网页搜索、工具调用及 artifacts 等全栈功能。

Holotron-12B - 高吞吐计算机使用智能体

H公司发布了多模态计算机使用模型Holotron-12B。该模型基于NVIDIA开源的Nemotron-Nano-12B-VL模型，使用专有数据混合进行训练，专注于在交互环境中高效感知、决策和行动。其采用混合状态空间模型与注意力机制架构，在单张H100 GPU上实现了比前代Holo2-8B高2倍以上的吞吐量，在100并发基准测试中达到每秒8900个token。在WebVoyager基准测试中，性能从基线的35.1%提升至80.5%，在定位和导航基准上也显著提升。模型已通过NVIDIA开放模型许可在Hugging Face发布。