跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

434 条精选近 30 天 27 条共收录 2,632 条

更新

精选归档 · 第 10 页

6月13日周六第 181–200 条
  1. 蚂蚁 inclusionAI:HuggingFace 新模型71

    inclusionAI/VISTA-9B:基于VISTA训练的GUI定位视觉语言模型

    VISTA-9B是基于Qwen3.5 9B骨干训练的GUI定位模型,输入截图与自然语言指令,输出0-1000归一化坐标。采用VISTA(视图一致自验证)方法,含view-consistent GRPO与self-verified cross-view anchoring。在SSPro、SSV2、OSWorld-G、OSWorld-G-R上分别取得69.2、95.8、68.1、75.5分,超越Qwen3.5-9B与GRPO-9B基线。模型已开源,可通过HuggingFace加载使用。

    推荐理由:蚂蚁 inclusionAI 的 VISTA-9B 专攻 GUI 定位,把截图和指令直接变成点击坐标,做界面自动化的开发者可以直接拿来用。训练中的视角一致性约束有点新意,但基准提升不大,更像个实干范本。

  2. MiniMax (official)82

    MiniMax M3 发布,具备前沿编码与智能体能力,原生图像视频输入和计算机使用,1M-token 上下文。核心采用 MSA 稀疏注意力:每个 query 评分 128-token KV 块,仅对 top 块做注意力。vLLM 当日即支持 M3,包括专用 MSA prefill/decode 核、前缀缓存与分块 prefill、BF16 和 MXFP8 检查点、Hopper 与 Blackwell 的 MoE 后端,并在 NVIDIA 与 AMD 硬件上验证。同时支持原生多模态输入、工具调用、推理解析和思考模式控制等智能体工作负载。

    引用vLLM@vllm_project

    🎉 恭喜 @MiniMax_AI 发布 MiniMax M3!前沿的编程与智能体能力、原生图像和视频输入、计算机使用,以及 100 万 token 上下文窗口,全部集成在一个开放模型中。 M3 的核心是 MSA,一种全新的稀疏注意力架构:它不再对完整的 KV 缓存进行密集注意力计算,而是让每个查询对 128 token 的 KV 块打分,并仅对得分最高的块运行注意力。这正是让 100 万 token 上下文变得可实际服务的关键。 M3 在 vLLM 中实现首日支持,并已在 NVIDIA 和 AMD 硬件上验证: ✨ 带专用 prefill 和 decode 内核的 MSA 稀疏注意力 ✨ 支持前缀缓存和分块 prefill 的 100 万 token 上下文服务 ✨ BF16 和 MXFP8 检查点,同时为 Hopper 和 Blackwell 提供 MoE 后端 ✨ 原生多模态输入(图像 + 视频) ✨ 面向智能体工作负载的工具调用、推理解析和思考模式控制 这样的首日支持是真正的团队协作成果。感谢 @MiniMax_AI、@NVIDIAAI、@AIatAMD 和 @inferact 的团队,以及 vLLM 社区让这一切成为可能。🙏 深入了解实现细节、内核工作和部署方案: 🔗 https://vllm.ai/blog/2026-06-12-minimax-m3-vllm

    推荐理由:M3把1M上下文从‘理论上能做’变成了‘今天就能部署’,MSA稀疏注意力是关键,开源社区和推理框架的深度合作值得关注。

6月12日周五
  1. IT之家·人工智能75

    苹果 iOS 27 健康 App 大改:卡片布局、营养识别、围绝经期追踪

    苹果在 iOS 27 中优化健康 App,将列表改为卡片布局并增加导航栏。新增视觉智能营养识别,用户通过相机 Siri 模式拍摄食物可获取加工程度、蛋白质、含糖量等信息及营养价值评级,不提供精确卡路里,需 iPhone 15 Pro 及以上。经期追踪扩展支持围绝经期,可分析长期周期异常模式并推送提醒与指导。Fitness+ 新增围绝经期和绝经期课程。数据同步速度提升,GymKit 扩展至 iPhone,无需 Apple Watch 即可与健身设备配对同步数据。

    推荐理由:视觉智能营养识别不能给精确卡路里,但那个“深度加工食品”提醒对普通人很实用,健康App这次更新算得上近年最有用了。

  2. vLLM 官方博客70

    vLLM 发布 MiniMax M3 Day-0 支持:1M 上下文多模态推理

    vLLM 宣布对 MiniMax M3 的 day-0 支持,覆盖 BF16 与 MXFP8 检查点,支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码(草稿模型 Inferact/MiniMax-M3-EAGLE3)以及 TP/EP 部署和 Docker 镜像。

    推荐理由:官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节,部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。

6月11日周四
  1. 公众号:通义实验室72

    通义实验室详解如何用 Arm SME2 与 MNN 让 Qwen3-VL 在手机端侧提速

    通义实验室利用 Arm SME2 指令集与 MNN 推理引擎,在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%,Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计,开发者无需手动配置。

    推荐理由:将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程,并给出 prefill 阶段 81% 提升的实测参考,为端侧多模态部署提供了可量化的工程路径。

  2. Suno:Blog68

    Suno 重构音轨分离功能,推出三种拆分方式

    Suno 对音轨分离功能进行重构,推出三种拆分方式:Auto Split 将歌曲自动拆分为最多 12 个音轨(鼓、贝斯、吉他等);Split from Mix 可隔离或移除特定乐器/人声并生成伴奏轨道;Advanced Split(仅 Premier 订阅)支持从近 100 种乐器中精确提取目标音轨。与常规切割算法不同,Suno 使用最新模型从零重新生成每个音轨,而非从混音中切割,以消除串音和音质损失。该功能适用于 Pro 和 Premier 订阅用户,可用于 Suno 创作或上传的音乐。

    推荐理由:Suno 重写了 stem separation,不再是旧路子切音频,而是用模型重新生成干净的干声,鼓点有劲、人声没杂音,还能拆上百种乐器,做混音的人可以试试。

6月10日周三
  1. OpenAI Developers76

    你的应用现在可以搜索网页上的图片。 Responses API 中的网页搜索现在除了文本结果外,还支持图片结果,因此你可以构建能展示商品、地点、视觉参考和来源链接以激发灵感的应用。

    推荐理由:OpenAI 搜索 API 终于支持图像结果了,以前只能返回文字,现在能直接拿商品图、地点图、视觉参考,做电商和旅行应用的开发者可以立刻集成,这个补丁等了太久。

  2. Fei-Fei Li78

    创意和想象力无与伦比!非常感谢@theworldlabs能与@withloreco的优秀人才合作,将他们不可思议的想法转化为用户可以享受的互动体验!🤩

    引用World Labs@theworldlabs

    我们将梦想化为世界。 然后用历史上最伟大的头脑填满它们。 不是视频。而是一个世界,直接在你的浏览器中运行。走进来 ↓

    推荐理由:World Labs把生成式空间智能做成了可走进的浏览器世界,不是看视频而是和历史伟人互动,技术想象力和产品落地都够惊艳,做虚拟世界和交互叙事的人值得直接点进去体验。

  3. xAI:News65

    Gopuff与SpaceXAI推出Go AI购物助手

    Gopuff与SpaceXAI合作推出Go智能购物助手,内置于Gopuff应用,由Grok文本、音频和图像模型驱动。Go结合Grok的推理、语音和图像生成能力与Gopuff的13年需求智能,利用X和网络实时信号。它可在用户打开应用前根据历史偏好和天气等信号构建个性化购物车,并包含基于Grok Imagine的超逼真视觉购物信息流。Go目前在美国iOS和Android端可用,随后在英国推出。

    推荐理由:Gopuff加SpaceXAI的组合给即时零售塞了个挺实在的AI购物助手,预判需求比我自己翻分类流畅,本地生活类工具团队该把它当个落地样本。

  4. Anthropic:Newsroom90

    Claude Fable 5 和 Claude Mythos 5

    Anthropic 今日推出 Claude Fable 5(通用安全版)和 Claude Mythos 5(受限安全版)。Fable 5 在软件工程、知识工作、视觉、科研等几乎所有测试基准上达到 SOTA,Stripe 称其将数月工程压缩至数天,FrontierCode 评分居前沿模型之首,可仅凭截图重建网页应用源码。Mythos 5 在药物设计中实现约 10 倍加速,其分子生物学假说盲测获科学家偏好的概率约 80%。两模型售价均为 $10/百万输入 tokens、$50/百万输出 tokens,较 Claude Mythos Preview 降价过半。Fable 5 在部分敏感主题上回退至 Claude Opus 4.8,安全触发率低于 5% 的会话。Mythos 5 通过 Project Glasswing 向网络安全防御者开放。

    推荐理由:Anthropic把最危险的模型安全地放出来了,Fable 5在编码、科研上不是小数点级别的提升,价格还砍半,95%的请求直接跑满血版,必读。

6月9日周二
  1. Hugging Face 社区博客76

    一个Agent如何通过链式调用两个HuggingFace Space构建3D巴黎画廊

    一个编码Agent调用HuggingFace上的两个Space,从零构建了展示巴黎地标3D高斯散点图的交互式画廊。Agent先用ideogram-ai/ideogram4生成每个纪念碑的黑色背景图像,再通过VAST-AI/TripoSplat从单张图像重建3D高斯散点(.ply),自动完成坐标系校正、取景、压缩为.ksplat(体积缩小约3倍),并构建基于Three.js的滚动切换、拖拽旋转查看器,最终部署为静态Space。整个过程无需客户端库,每个Space通过`agents.md`暴露可调用API。

    推荐理由:Hugging Face 把 agents.md 做成每个 Space 的标准说明书,agent 能直接读懂并链式调用图像和 3D 模型,这篇用 3D 巴黎画廊 demo 告诉你这事儿已经跑通了,做 AI 工具链的可以立刻照着试。

  2. Apple Machine Learning Research79

    苹果发布第三代 Apple Foundation Models(AFM)

    苹果推出第三代 Apple Foundation Models(AFM)基础模型家族,与 Google 合作定制,包含五个模型,覆盖从设备端到基于 Private Cloud Compute 的服务器端模型。这些模型旨在驱动 Apple Intelligence 功能,包括全新 Siri 和智能工具,以用户为中心深度融合操作系统,隐私为核心设计原则。

    推荐理由:Apple与Google罕见联手推出的第三代基础模型,直接为下一代Siri和系统级AI功能铺路,标志着消费级AI的深度整合,产品经理和iOS开发者必须关注。

  3. Apple:Newsroom69

    受 DMA 影响,Siri AI 在欧盟将随 iOS 27 和 iPadOS 27 延迟上线

    由于欧盟《数字市场法案》(DMA),Apple 无法在 iOS 27 和 iPadOS 27 发布时于欧盟地区推出 Siri AI。该功能在欧盟的上线时间将晚于其他地区,具体时间未公布。

    推荐理由:苹果首次将 DMA 作为 AI 功能地区延迟的直接理由,并详细披露了与欧盟监管者的分歧,这个案例可能定义了 AI 助手在监管下的权限边界。

  4. Apple:Newsroom66

    Apple 推出 Siri AI:由 Apple Intelligence 驱动的更强大、更个性化的个人助理

    Apple 发布了 Siri AI,一款由 Apple Intelligence 驱动的个人助理,具备个人上下文、世界知识和屏幕感知能力,能提供更强大、更个性化的交互体验。

    推荐理由:苹果对 Siri 的这次重构不是简单地换个模型,它把个人上下文、屏幕感知和视觉智能实际嵌进了系统,对普通用户来说日常交互方式可能要变。

  5. TechCrunch:AI73

    苹果刚刚教会你的iPhone补全句子、完善照片和简化工作流程

    Apple为Safari、Shortcuts和Password应用添加了AI驱动的新功能,让iPhone能够自动补全句子、完善照片和简化工作流程。

    推荐理由:WWDC 2026 的 Apple Intelligence 更新不是颠覆性突破,但 Safari 标签管理、跨应用上下文和 Shortcuts 的 AI 创建让 AI 真正渗透到日常使用中,是所有苹果用户都该看看的实用升级。

  6. NotebookLM72

    推出更强大的 NotebookLM 🚀 重大升级带来了对话中的智能体能力、更高级的推理以及一系列新的输出格式。处理复杂的多步骤研究问题从未如此简单。 现已面向 Google AI Ultra 订阅者推出。

    推荐理由:NotebookLM 这次升级把 agent 能力塞进聊天框,从被动答案变成能拆解多步研究,对深度资料整理的人是真迭代,但仅限 Google AI Ultra 订阅,门槛不低。

6月8日周一
  1. Hugging Face 社区博客74

    Pakistan Notice Helper:一款面向本地安全问题的轻量 AI 工具

    Pakistan Notice Helper 是一款安全工具,帮助巴基斯坦用户在点击链接、拨打电话、分享 OTP 或支付前识别可疑消息。它接受文本或截图输入,返回风险等级、简短解释、可见警示标志和安全下一步建议。工具支持英文和乌尔都语,乌尔都模式采用从右向左布局并全界面翻译。最终部署选用 Qwen3.5 4B Q8 模型(通过 llama.cpp + CUDA),在 10 个测试用例中通过了所有高风险诈骗和截图场景。此前曾测试 Qwen3.6 27B(质量高但成本高)和 MiniCPM-V 4.6 Q8(速度慢且不稳定),最终选择了精度、速度和成本平衡的 4B 模型。项目受限于 hackathon 的 32B 模型上限规则。

    推荐理由:一个只有4B的小模型,把巴基斯坦本地诈骗文案分析得明明白白,比那些参数大但看不懂乌尔都语的通用模型实用得多。做给特定地区特定问题的小工具,这才是AI落地的真节奏。