多模态 最新动态

Google Gemini@GeminiApp· 03:06精选AI 评分7474

Gemini Omni甚至能将简单的草图变为新的现实。 在Gemini应用中亲自尝试。上传一段有人画圆的视频，然后输入这个提示词：当我画完这个圆时，它变成了___。

Gemini Omni 与 Gemini 3.5 的 11 个实战展示

Google 在 2026 年 Google I/O 大会上发布了新一代多模态模型 Gemini Omni 与 Gemini 3.5，并同步提供了 11 个视频，集中演示了这两款模型在实际场景中的能力。

Qwen-VLA：从理解世界到付诸行动

通义千问推出通用视觉-语言-动作模型Qwen-VLA，基于Qwen多模态骨干，将视觉感知、语言理解与空间推理扩展至连续动作生成和轨迹预测。训练分四阶段：文本到动作预训练（T2A）、持续预训练（CPT）、监督微调（SFT）和强化学习（RL）。在LIBERO上达97.9%，Simpler-WidowX达73.7%，RoboTwin-Easy/Hard达86.1%/87.2%，匹配或超越专精模型。数据涵盖超10,000小时公共机器人轨迹、1,000+小时内部真实轨迹及800万+合成仿真轨迹。

通义实验室发布教程：在 Android 手机部署 MCP 感知服务器

通义实验室发布教程，演示如何在 Android 手机上部署 MCP 感知服务器，使手机具备本地视觉与听觉分析能力。核心基于端侧 MNN 推理引擎和 Qwen3-VL 2B 模型（约 1.3GB），摄像头与麦克风采集的音视频在本地实时转化为结构化 JSON，再通过 MCP Tool 供 Claude Code 等云端 Agent 远程调用。整个过程不上传原始数据，仅传输语义提取结果。项目已开源，实测可识别红绿灯状态等场景。

小米开源可控视频音效生成模型 ControlFoley，让声音“按你想要的来”

小米大模型应用团队发布开源可控视频音效生成模型 ControlFoley，旨在解决创作中的可控性难题。该模型统一支持文本引导视频配音、文本控制视频配音和参考音频控制视频配音三类任务。ControlFoley 在 VGGSound-Test 等多个 benchmark 上取得开源 SOTA 表现，其代码、模型权重和在线 Demo 均已开放。

阶跃发布 Step 3.7 Flash，面向生产级 Agent 的高效率 Flash 模型

阶跃星辰发布并开源 Step 3.7 Flash，采用稀疏 MoE 架构（总参数 196B+1.8B，激活 11B），最高生成速度 400 Tokens/s。围绕原生多模态理解与执行、联网与视觉搜索增强、高可靠工具调用与编排、Agent 生态兼容优化四大能力优化。在 Toolathlon 达 49.5%，ClawEval-1.1 达 67.1%，GDPval 达 45.8%，τ²-bench Telecom 通过率超 98%。兼容 Claude Code、KiloCode 等主流架构及 MCP/Skills 协议，支持云端与本地部署，已在 Kilo Code 等生态中完成接入验证。

SenseTime@SenseTime_AI· 00:06精选AI 评分6565

SenseNova-U1-8B-MoT-Infographic 是一个升级后的8B参数信息图表生成模型。其核心提升在于：增强了文本的准确性与可读性，减少了重复和不自然的放大；改进了布局的一致性与合理性，背景更稳定；提升了图表与示意图的渲染质量；并新增了学术内容的渲染支持。

LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能

LMSYS团队（Intel与SGLang）通过Dynamo和SGLang框架，为视觉语言模型（VLM）启用了异构编码-预填充-解耦（EPD）架构。该方案将视觉编码任务从GPU卸载至CPU（如Intel Xeon 6747P），与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中，采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器（能力比R=12）的配置，在ISL/OSL 128/256、1080p 8张图像的负载下，实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升，并将P99 TPOT降低了约1.3倍至30倍。

Xiaomi MiMo@XiaomiMiMo· 23:38精选AI 评分6969

MiMo-V2.5现已在OpenCode上线——限时免费。🎉 [引用 @opencode]：OpenCode x MiMo V2.5 - 限时免费 1M上下文 • 推理 • 文本 • 图像

Google Gemini@GeminiApp· 05:52精选AI 评分7777

使用 Gemini Omni 轻松将您的视频转换为新的视觉风格。 只需上传视频或照片，并要求 Gemini 为您的最终输出应用某种外观或风格。

Runway 推出 Model Context Protocol 服务器

Runway 正式推出 Runway MCP 服务器，允许任何兼容 MCP 的 AI 智能体（如 Claude、ChatGPT、Cursor）在对话界面中直接生成图像与视频，无需切换工作流。该服务器接入了 Runway 最新的多款 SOTA 模型，包括 Gen-4.5、Seedance 2.0、GPT Image 2、Kling 3.0 及 Nano Banana Pro。其应用场景涵盖为产品制作营销视频、批量生成网站视觉素材、创作角色广告以及在应用开发中集成视觉内容。用户设置简便，通过 runwayml.com/mcp 添加服务器并登录现有 Runway 账户即可使用，无需单独申请 API 密钥。

SenseTime@SenseTime_AI· 23:29精选AI 评分7777

商汤开源了SenseNova-U1（8B dense + A3B MoE）的完整训练代码库。这是一个统一的框架，支持文本到图像、图像编辑、交错生成、文本与视觉理解等多种多模态任务的训练。其设计注重实用性与大规模训练，采用混合并行、流式可恢复数据管道、环境变量配置、解耦模块化设计，并支持从1×8 GPU扩展到多节点集群的规模。代码库以Apache-2.0协议开源。

Project Luxo：跨越AI媒体的恐怖谷

Runway通过Project Luxo研究发现，AI生成视频已跨越“恐怖谷”。他们向创意生态从业者展示了《The Rogue》等AI短片及广告样片，评估显示观众开始关注故事本身，而非技术瑕疵。所有作品均由单人团队制作，耗时从3周到4小时不等。Runway认为，这标志着AI媒体成熟——当技术足够好以至于“隐形”，观众沉浸于故事时，便实现了这一跨越。

ElevenLabs 发布 Music v2，人声与编曲能力提升并下调定价

ElevenLabs 发布 Music v2，提升人声、器乐和编曲质量，支持单首歌内从歌剧切换到重金属、局部 inpainting 重新生成与逐段构建完整歌曲，多语言歌词与演唱表现更稳定。

Elon Musk@elonmusk· 09:22精选AI 评分6767

xAI发布了面向非技术背景的SuperGrok和X Premium+用户的Grok Build入门视频教程。教程提供了分步指南，核心内容包括：通过一条命令快速安装Grok Build；利用其创建真实的网站；使用内置的Grok Imagine工具自动生成图像与视频；以及在不同文件夹中同时运行多个项目。整个过程无需任何编程经验，并且Grok可以协助执行命令。

inclusionAI 发布 SingGuard 系列模型

inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-4b。该模型是一种策略自适应多模态 LLM 护栏，将安全策略作为运行时输入而非固定训练分类，支持对文本、图像、图文、多语言、查询侧和响应侧进行安全评估。SingGuard 采用动态推理流程，可先快速输出首 token 安全信号，再继续生成更精确的判断。在涵盖多模态安全、图像安全、文本查询安全、文本响应安全、多语言查询安全及多语言响应安全的六大类基准测试中，SingGuard 达到平均 SOTA 性能。模型支持标准 Transformers 和 vLLM 聊天消息输入，无需手动改写提示词。

<中文标题>SingGuard: 策略自适应多模态护栏模型族开源</中文标题>

<中文摘要>SingGuard 是一个策略自适应的多模态护栏模型族，包含 Sing-Guard-4b 和 Sing-Guard-8b 两个版本。它将安全策略作为运行时输入而非固定分类，部署团队可自定义自然语言规则而无需重训练模型。支持文本、图像、图文、多语言以及查询端与响应端的安全评估，提供快速和快慢结合两种推理模式。在涵盖多模态安全、纯图像安全、文本查询/响应安全、多语言查询/响应安全六大类基准上取得平均 SOTA 表现。模型已开源至 HuggingFace 和 ModelScope。</中文摘要>

inclusionAI 发布 SingGuard-8b 策略自适应多模态安全护栏模型族

inclusionAI 发布 SingGuard-8b，一个策略自适应（policy-adaptive）的多模态 LLM 安全护栏模型族，支持文本、图像、图文、多语言、查询侧和响应侧的安全评估。SingGuard 将活跃安全策略作为运行时输入，部署团队无需重训模型即可按默认或自定义自然语言规则进行审核。模型采用动态推理流程，先快速路由输出初步安全信号，再在需要时继续生成更精确的判断。在六大基准类别上，SingGuard 取得平均 SOTA 性能，并展现出对运行时策略的强适应性。模型支持标准 Transformers 和 vLLM 聊天格式输入。

蚂蚁 inclusionAI 发布策略自适应多模态安全护栏模型 Sing-Guard-8b

SingGuard 是蚂蚁 inclusionAI 推出的策略自适应多模态大语言模型安全护栏模型族（版本 Sing-Guard-8b），支持纯文本、纯图像、图文混合、多语言查询与回复的安全评估。其核心设计将安全策略作为运行时输入，部署团队可基于默认分类或自定义自然语言规则评估内容，无需重新训练模型。模型内置 fast-slow 动态推理流程：首 token 路由快速输出安全信号，需深度推理时继续生成更精确的最终判断。在涵盖多模态安全、纯图像安全、文本查询与回复安全、多语言查询与回复安全的六大基准测试上取得平均 SOTA 性能，并已开源至 HuggingFace 与 ModelScope。

inclusionAI 发布 SingGuard 系列模型，首版为 SingGuard-2b

inclusionAI 发布 SingGuard 系列模型，首个版本为 SingGuard-2b，用于文本、图像、图文、多语言及查询/回复侧的安全评估。SingGuard 将安全策略作为运行时输入而非固定训练分类，支持部署团队在不重新训练模型的情况下，依据默认或自定义自然语言规则进行内容审核。该模型在多项多模态安全基准上取得平均最优性能，支持快速首 token 路由与深度推理结合的动态推理流程，兼容 Transformers 和 vLLM 的 chat 消息输入。