技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
455 条精选近 30 天 32 条共收录 2,883 条
UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。
推荐理由：蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索，代码开源可直接用，做 GUI 自动化的值得看看底层怎么实现元素定位和导航。
Saining Xie@sainingxie精选我简直不敢相信 GPT-5 会犯这种错误，直到 @ziqiao_ma 向我指出来。 强烈推荐这篇关于多模态 LLM 以视觉为中心评估的论文（https://arxiv.org/abs/2406.16860），作者是 @sainingxie——现在想象一下把同样的严谨性应用到 VLA 上。
推荐理由：当前多模态模型靠语言捷径'作弊'，真实场景落地将暴露致命隐患
上海人工智能实验室 InternLM 团队发布 Intern-S2-Preview-397B，定位面向科学智能与长程智能体的最强多模态基础模型，通过新的视觉语言预训练范式、20 多个领域的大规模多任务强化学习以及沙盒环境中的智能体强化学习提升通用推理与科学能力。
推荐理由：官方仓库同时给出 Intern-S2 两档新模型与 S1 系列的架构细节和基准对比，便于读者评估科学场景下的开源选型。
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型，对约一周（7×24 小时）ESB 基准音频做批量转写，结果比所测专有 API 快 112 倍或便宜 200 倍，且错误率略低，实现了一分钟内以 1 美元转写一周音频。
推荐理由：原文给出可复现的批量转录优化方法与端到端实测数据，读者可以据此在自己的语音转写服务中权衡成本与吞吐。
Hugging Face 发布全开源 3B 模型 SmolLM3，基于 11T token 预训练，官方称在 3B 规模上超越 Llama-3.2-3B 和 Qwen2.5-3B，并与 Qwen3、Gemma3 等 4B 模型竞争。
推荐理由：官方完整公开 3B 模型的架构改动、三阶段数据配比和双模式训练配方，想复现或改进小模型的人可据此省去数月逆向工程。
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用，发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸，各有 base 与 instruct 变体。
推荐理由：原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口，读者可以直接照着跑起来。
Mistral AI 发布其首个推理模型 Magistral，分为 24B 参数的开源版 Magistral Small（Apache 2.0 许可）和企业版 Magistral Medium。
推荐理由：Mistral 官方发布首个推理模型，给出两版本参数规模与 AIME2024 成绩、开源许可和部署渠道，读者可据此评估选型。
Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。
推荐理由：针对热门的多模态检索增强生成（Visual RAG）场景提供了关键实证数据，揭示了 VLM 在长文档阅读上的实际瓶颈，为开发者选择模型和优化管道提供重要参考。
Suno发布了新的创作工具，旨在将创意控制权完全交还给艺术家。新功能包括支持上传最长8分钟的音频、具备行业首创编辑工具（如歌词替换、段落修改和重混）的升级版歌曲编辑器，以及可调节创作风格的“创意滑块”。创作完成后，用户可利用前沿技术将轨道分离为12条独立音轨（如人声、鼓、贝斯）进行预览和下载，便于在数字音频工作站（DAW）中进行后续编辑。
推荐理由：Suno 这次不是加几个 style，而是给了波形编辑和 12 轨分离，把 AI 音乐从生成器变成了制作工具，音乐创作者可以进来真正干活了。
Hugging Face 团队发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型的极简工具仓库，可在免费版 Colab 上启动训练。
推荐理由：官方团队介绍 nanoVLM 的架构与训练流程，读者可以据此理解 VLM 的多模态对齐原理并低成本动手训练。
Gemma 3n 预览版发布，专为移动设备优化的开源多模态模型。采用 2-in-1 架构，支持音频理解，适用于实时交互和音频中心应用开发。
推荐理由：Google 发布端侧多模态模型 Gemma 3n，支持音频理解，面向移动设备优化
Mistral AI 发布 Mistral Medium 3，定位以约 1/8 成本提供接近旗舰模型的性能，价格为每 M token 输入 $0.4、输出 $2，基准成绩达到或超过 Claude Sonnet 3.7 的 90%。
推荐理由：官方给出了与 Claude Sonnet 3.7、Llama 4 Maverick 的基准对比、定价和部署门槛，读者可据此评估其在企业场景的性价比。
MiniMax 发布 MCP Server，集成文本转语音、语音克隆、文生图、文生视频等多模态能力。支持 Claude Desktop、Cursor、Windsurf 等主流 MCP 客户端，通过统一工作流实现文本到音视频的一站式生成，面向创作者和开发者免费开放。
推荐理由：MiniMax MCP Server 上线，支持语音克隆、文生图/视频并兼容 Claude Desktop 等主流客户端
OpenAI 发布 GPT-4o 系统卡附录，介绍 4o image generation 图像生成能力。官方称其比此前的 DALL·E 3 系列模型能力显著更强，可生成照片级真实感输出，并支持以图像作为输入进行变换。
推荐理由：官方说明指出 4o 图像生成比 DALL·E 3 系列能力更强，读者可借此了解其照片级输出与图像输入变换的新方向。
Mistral AI 发布 Mistral Small 3.1，称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini，推理速度达 150 tokens 每秒，上下文窗口扩展至 128k tokens，并以 Apache 2.0 许可证开源。
推荐理由：官方公告给出具体基准对比、部署门槛和开放下载渠道，读者可据此评估它能否替代现有小型私有模型。
Google 在 Hugging Face 博客上发布全新开源大模型 Gemma 3，主打多模态、多语言和长上下文能力。
Mistral 发布 Mistral OCR，一款可识别图像、文本、表格和公式的光学字符识别 API。内部基准中 Mistral OCR 2503 综合得分 94.89，高于 Gemini-2.0-Flash-001 的 88.69 和 Azure OCR 的 89.52；单节点处理速度可达每分钟 2000 页。
推荐理由：官方发布 OCR API，给出与竞品的基准对比和每分钟页数，读者可据此评估其在多模态 RAG 管线中的适配性。
Mistral AI 发布全新 le Chat AI 助手，上线 iOS 和 Android，并推出 Pro（$14.99/月）、Team 及 Enterprise 私测版本。
推荐理由：Mistral 官方完整列出新 le Chat 的功能、定价和部署选项，读者可以据此与同类助手做横向比较。
DeepSeek@deepseek_ai精选推荐理由：DeepSeek 开源 VL2 视觉模型，3B 轻量版可端侧部署，MoE 架构支持动态图像分块
Mistral AI 发布基于 Mistral Large 2 的 124B 开源权重多模态模型 Pixtral Large，在 MathVista 达到 69.4%，在 ChartQA、DocVQA 上超过 GPT-4o 和 Gemini-1.5 Pro。
推荐理由：官方发布了多模态模型的基准成绩与开放下载渠道，也说明了许可证类型，适合想对比前沿多模态能力或自部署的读者参考。