技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
445 条精选近 30 天 30 条共收录 2,757 条
美团开源全模态模型LongCat-Flash-Omni，采用5600亿参数MoE架构（激活270亿），支持128K上下文与实时音视频交互。模型基于快捷连接MoE与零计算专家，配备轻量级编解码器及分块特征交错机制，通过课程式渐进训练提升效率。在OmniBench、WorldSense等基准测试中超越Qwen3-Omni与Gemini-2.5-Pro，在文档理解、语音识别及GUI控制等任务中达到领先水平。
推荐理由：美团开源 560B 参数多模态模型，27B 激活即可实现实时音视频交互
Gemini 2.5 Computer Use 模型基于 Gemini 2.5 Pro 构建，专门用于驱动能与用户界面交互的 agent，现已通过 API 以预览版形式提供。
推荐理由：Google 发布 Gemini 2.5 Computer Use 模型，支持 Agent 自主操作图形界面
Hugging Face 发布开源 OCR 模型指南，并新增 Chandra 和 OlmOCR-2 及其在 OlmOCR Benchmark 上的分数（Chandra 83.1±0.9，OlmOCR-2 82.3±1.1）。
推荐理由：这篇指南梳理了主流开源 OCR 模型的能力、输出格式与成本对比，并给出按使用场景选型的具体方法。
Hugging Face 发布 AI Sheets 重大更新，为开源无代码工具 AI Sheets 加入视觉能力，可直接上传图片或使用含图数据集，用视觉模型提取、分析和结构化图片信息。
推荐理由：官方公告给出了图像提取、生成和编辑的具体用法与模型对比示例，读者可以判断能否把图片处理搬进表格工作流。
Together AI 宣布扩展模型库，通过 Runware 合作集成 20 多个视频模型（含 OpenAI Sora 2、Google Veo 3、Minimax Hailuo、Kling v2.1）和 15 个以上图像模型（含 Google Imagen 4.0 Ultra、Nano Banana、Qwen Image），共 40 多个。
推荐理由：Together AI 官方给出了 40 多个图像与视频模型的名称、时长和逐模型定价，开发者可据此评估能否用一个平台替代多家供应商。
Anthropic可解释性团队分享了多项研究进展。研究发现，从Haiku 3.5到Sonnet 4.5等模型中存在跨模态视觉特征，能够识别ASCII艺术和SVG代码中编码的语义概念，如眼睛、嘴巴、狗、猫等。这些特征依赖于视觉描绘的上下文环境，例如，SVG圆形元素只有在位于激活“面部”特征的更大结构中时才会激活“眼睛”特征。在生成过程中对部分特征进行引导，可以对应修改文本艺术的语义，例如将ASCII表情从皱眉转为微笑，或为SVG面部添加皱纹。研究还发现模型存在类似“人脸幻想”的倾向，会将形状解释为动物绘图的组成部分。这些特征对人类手绘的SVG同样有效。
推荐理由：为AI可解释性研究提供新实验方法，启发跨模态模型设计。
Liquid AI 发布 LFM2-Audio-1.5B，一个支持音频与文本输入输出的端到端基础模型，扩展了 LFM2 家族。
推荐理由：官方给出了 VoiceBench、ASR 词错率和低于 100ms 的延迟数据，读者可以据此评估 1.5B 参数模型在端侧实时语音场景的可用性。
Hugging Face 发布 Smol2Operator，通过两阶段 SFT 将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成 GUI Agent，ScreenSpot-v2 准确率从约 0% 先提升到 41%，再提升到 61%。
推荐理由：原文给出从数据统一到两阶段微调的完整训练配方和结果数字，且全部开源，可复现到自己的 GUI Agent 项目中。
Hugging Face 与 JHU 团队发布多语言编码器模型 mmBERT，基于 ModernBERT 架构，在 3T+ tokens、1833 种语言的数据上训练，官方称其首次在多语言任务上超越 XLM-R。
推荐理由：原文给出了 1833 种语言的训练策略和基准数据，读者可以据此评估它对多语言编码器选型的影响。
Google 发布 EmbeddingGemma，一个面向端侧的多语言嵌入模型，参数量 308M，支持 2K 上下文窗口和 100 多种语言，量化后 RAM 占用低于 200 MB。
推荐理由：原文给出模型架构、MRL 截断维度和多框架用法，读者可以据此评估它在移动端 RAG 和检索场景的可行性。
UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。
推荐理由：蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索，代码开源可直接用，做 GUI 自动化的值得看看底层怎么实现元素定位和导航。
Saining Xie@sainingxie精选我简直不敢相信 GPT-5 会犯这种错误，直到 @ziqiao_ma 向我指出来。 强烈推荐这篇关于多模态 LLM 以视觉为中心评估的论文（https://arxiv.org/abs/2406.16860），作者是 @sainingxie——现在想象一下把同样的严谨性应用到 VLA 上。
推荐理由：当前多模态模型靠语言捷径'作弊'，真实场景落地将暴露致命隐患
上海人工智能实验室 InternLM 团队发布 Intern-S2-Preview-397B，定位面向科学智能与长程智能体的最强多模态基础模型，通过新的视觉语言预训练范式、20 多个领域的大规模多任务强化学习以及沙盒环境中的智能体强化学习提升通用推理与科学能力。
推荐理由：官方仓库同时给出 Intern-S2 两档新模型与 S1 系列的架构细节和基准对比，便于读者评估科学场景下的开源选型。
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型，对约一周（7×24 小时）ESB 基准音频做批量转写，结果比所测专有 API 快 112 倍或便宜 200 倍，且错误率略低，实现了一分钟内以 1 美元转写一周音频。
推荐理由：原文给出可复现的批量转录优化方法与端到端实测数据，读者可以据此在自己的语音转写服务中权衡成本与吞吐。
Hugging Face 发布全开源 3B 模型 SmolLM3，基于 11T token 预训练，官方称在 3B 规模上超越 Llama-3.2-3B 和 Qwen2.5-3B，并与 Qwen3、Gemma3 等 4B 模型竞争。
推荐理由：官方完整公开 3B 模型的架构改动、三阶段数据配比和双模式训练配方，想复现或改进小模型的人可据此省去数月逆向工程。
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用，发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸，各有 base 与 instruct 变体。
推荐理由：原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口，读者可以直接照着跑起来。
Mistral AI 发布其首个推理模型 Magistral，分为 24B 参数的开源版 Magistral Small（Apache 2.0 许可）和企业版 Magistral Medium。
推荐理由：Mistral 官方发布首个推理模型，给出两版本参数规模与 AIME2024 成绩、开源许可和部署渠道，读者可据此评估选型。
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
Suno发布了新的创作工具，旨在将创意控制权完全交还给艺术家。新功能包括支持上传最长8分钟的音频、具备行业首创编辑工具（如歌词替换、段落修改和重混）的升级版歌曲编辑器，以及可调节创作风格的“创意滑块”。创作完成后，用户可利用前沿技术将轨道分离为12条独立音轨（如人声、鼓、贝斯）进行预览和下载，便于在数字音频工作站（DAW）中进行后续编辑。
推荐理由：Suno 这次不是加几个 style，而是给了波形编辑和 12 轨分离，把 AI 音乐从生成器变成了制作工具，音乐创作者可以进来真正干活了。
Hugging Face 团队发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型的极简工具仓库，可在免费版 Colab 上启动训练。
推荐理由：官方团队介绍 nanoVLM 的架构与训练流程，读者可以据此理解 VLM 的多模态对齐原理并低成本动手训练。