技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
450 条精选近 30 天 30 条共收录 2,836 条
京东官方宣布开源实时视频视觉语言交互模型 JoyAI-VL-Interaction，这是全球首个全栈开源的 interaction 模型和系统，获 vLLM-Omni day-0 原生支持。该模型具备三重突破：主动判断（持续观察视频流自主决定何时说话）、实时响应（面向正在发生的视频流即时响应）、适时智能体委托（复杂任务转交后台模型，前台继续观察）。支持摄像头、直播流、监控流等视频输入，以及语音输入输出、可视化界面、长期记忆和 vLLM 部署。在 58 个真人盲评案例中，对比豆包视频通话助手总体胜率 77.6%，对比 Gemini 视频通话助手总体胜率 87.9%。
推荐理由：京东开源了首个全栈实时视频交互模型，让大模型能持续观察并主动响应，开发者可以直接用代码搭建安防、导购等实时AI助手，实用性很强。
Adobe 将其“创意智能体”扩展至 Photoshop、Premiere 等应用，以公开测试形式提供 AI Assistant。该智能体可自动完成多步骤常规任务，如 Premiere 分拣素材和粗剪、Photoshop 换背景、Illustrator 批量生成文件、InDesign 更新版式等。Firefly 新增面向个人创作者的品牌套件、产品图转短视频及 Quick Cut 自动剪辑功能。Adobe 工具已集成至 ChatGPT、Claude 及 Microsoft 365 Copilot，Google Gemini 和 Slack 集成即将推出。
推荐理由：Adobe把AI助手直接塞进了Photoshop、Premiere这些上亿人用的创作工具，干的虽然是粗剪、排版一类的苦力活，但却是AI从生成器转向流程助手的关键一步，值得所有创意工作者上手试试。
商务部等八部门6月18日发布关于加快“人工智能+消费”发展的实施意见。其中提到加大财政资金支持，落实数码和智能产品购新政策，鼓励地方在消费品以旧换新框架内自主制定补贴，重点支持新一代智能终端消费。增加AI手机、智能电脑、智能电视、智能家居、AI眼镜、智能网联汽车、人形机器人等产品供给，培育智能穿戴消费市场。同时加快AI在居家服务、养老服务、文化旅游、住宿餐饮、教育教学等领域的应用，建设AI商品首发平台，举办“人工智能进万家”活动。
推荐理由：八部门联合推AI消费补贴，从手机、机器人到养老教育全覆盖，这是国家层面推动AI产品普及的强烈信号，终端厂商和消费者都将迎来实质利好。
DeepSeek 识图模式于6月18日在网页和 App 端正式上线，与快速模式、专家模式并列。开启后用户可直接上传图片让 DeepSeek 识别图像，能力超越简单文字提取。目前 App 端仍显示“图片理解功能内测中”，网页端无此提示。该模式背后的多模态模型技术细节于今年4月公开，核心框架为“Thinking with Visual Primitives（以视觉原语思考）”。
推荐理由：DeepSeek的识图模式终于从内测进了正式版，虽然是补课而非破圈，但对中文用户来说，让AI直接看图比打字描述常用太多，日常工作和内容处理都更顺手了。
MolmoMotion基于Molmo 2骨干网络，输入视频帧、物体上的3D点标记及文字动作指令（如“移动并旋转桌上放水果的木碗”），预测未来数秒内这些点的3D轨迹。提供两个变体：自回归的MolmoMotion-AR逐步预测坐标，流匹配的MolmoMotion-FM通过连续空间变换处理多可能性运动。同时发布MolmoMotion-1M数据集（含116万视频的3D点轨迹及动作描述）和PointMotionBench基准测试（2700个人工验证视频片段）。模型权重、数据集和基准测试均已开源。
推荐理由：MolmoMotion把3D运动预测从模板化推到任意物体，百万级数据集和基准让研究门槛大降，做机器人和视频生成的值得认真看，但目前仍是研究阶段，离落地还有距离。
6月17日，阿里云发布开放式世界模型HappyOyster 1.0（快乐生蚝）。该产品基于原生多模态架构，支持多模态输入与音视频联合生成，可在生成过程中持续接收用户指令并实时响应画面。它深度学习物理世界状态转移规律，保持人物和环境长程一致性。官网开放“实时导演”与“世界探索”两种玩法：前者可随时叫停改写故事、与虚拟男友实时互动等；后者支持自由漫游、滑板冲刺、翼装滑翔、骑马奔驰、攻击打怪等交互。该产品已于今年4月16日开放内测，即日起至7月17日官网不定期掉落体验积分。
推荐理由：阿里把世界模型做成了可玩的交互产品，一句话生成能探索能互动的数字世界，实时导演模式直接替代了一部分短剧和互动内容创作，虽然还像噱头但至少是能玩的尝试。
Greg Brockman@gdb精选AI 评分7474GPT-Realtime 2 是操作系统的未来。 我已经试验了它几周，不得不说，它真是相当不可思议。 打开应用、搜索网页，甚至在 Premiere 里剪辑。全都只用我的声音完成。 而且只需几个提示就能设置好。 在这个视频里，我会向你展示具体怎么做。 0:00 开场 1:46 什么是 GPT-Realtime 2？ 4:46 设置它（无需编程） 7:53 修复常开麦克风（按键说话） 9:41 演示：搜索网页 11:38 演示：通过 MCP 连接应用（Obsidian） 14:13 演示：控制 Premiere Pro（无障碍树） 18:00 诚实的注意事项 19:00 结尾
推荐理由：Greg Brockman 转发的这个视频，演示了用语音控制 OS 完成搜索、写笔记、甚至剪辑 Premiere，这不是 demo 动画，是真的可以上手试的教程，让人感觉语音 OS 离现实又近了一步。
xAI 将 Grok Imagine Video 1.5 从预览转为全面可用，在 Imagine API 上提供 `grok-imagine-video-1.5`，并在 grok.com/imagine 及 iOS/Android 应用上推出 Video 1.5 Fast 版。相比前代，模型在音频与语音（更清晰、嘴型同步更好）、运动与物理（更连贯、重量感更真实）、生成速度（6 秒 720p 视频约 25 秒，此前超 40 秒）上全面提升。同时逐步推出 Projects、Multiple agents（并行运行多个生成任务）、Search 等新功能，以优化创作流程。
推荐理由：Grok Imagine 1.5 把视频生成速度砍半，音效同步和项目功能让创作者工作流更顺畅，xAI 在视频方向上站住了脚。
SiliconFlow@SiliconFlowAI精选AI 评分6565
推荐理由：K2.7 Code 在编码上逼近 GPT-5.5 和 Opus 4.8，同时推理 token 用量降低 30%，对追求前沿编码能力又在意成本的技术团队是个实用选择，硅基流动上的定价也给了明确预期。
通义实验室发布 Qwen-Robot 套件，以 Qwen-RobotNav、Qwen-RobotManip、Qwen-RobotWorld 三个模型分别覆盖导航、操作与世界预测，统一采用语言优先接口。
推荐理由：将视觉语言模型与物理行动对齐，统一跨本体表示和数据协同，为具身智能规模化提供了一种可行路径。
Qwen-RobotWorld以语言为统一动作接口，采用双流Multimodal Diffusion Transformer（MMDiT）架构，将Qwen2.5-VL作为动作编码器。在4个基准测试中取得顶尖成绩，统一20余种机器人形态，基于860万跨场景训练对和1300多项操作技能。语言接口标准化500多种动作类别，支持操作、自动驾驶、室内导航的联合训练。还支持Scene2Robot人类到机器人转移及2–4路多视角几何一致视频生成。
推荐理由：具身智能的世界模型长期受限于单一形态，Qwen-RobotWorld用语言统一动作接口，把操作、驾驶、导航合训，多视角几何一致性和人类演示迁移是过去一年最扎实的落地信号，做机器人的别错过。
MiniMax 上周五开源 M3 模型权重，并发布 MSA 稀疏注意力技术论文。M3 总参数 428B、激活参数 23B，是首个从 Step 0 进行多模态混合训练的开源模型，发布两周即在 Artificial Analysis 综合智能指数上位列全球开源模型第一。目前输出速度已从约 30 TPS 提升至约 80 TPS，官方称还将继续提速 30-40%。
推荐理由：MSA 注意力机制让长上下文计算成本大幅下降，对于在长文档处理或复杂推理场景下需要控制成本的团队，M3 的开源提供了一种新的选型依据。
Suno@suno精选AI 评分7070重大更新：Suno 的音轨分离刚刚大幅升级。🚀 我们现在从零重新生成音轨，而非仅仅隔离频率。结果如何？纯净无伪影的音轨，可直接拖入你的 DAW。
推荐理由：Suno 把 stem 分离从滤波换成了重新生成，这对做音乐的人来说是个实质进步，artifacts 老问题被从根上解决，不再只是凑合能用。
MNN 推理引擎深度适配 Arm SME2 指令集，使 Qwen3-VL-4B-Instruct 在支持 SME2 的 vivo X300 上实现实时多模态推理。Prefill 阶段性能提升 81%，Decode 阶段提升 13%。MNN 采用编译时内建 + 运行时自动检测设计，默认开启 SME2 加速。该模型为 4B 参数视觉语言模型，支持图文理解和对话，通过 MNN 官方已转换量化的模型可直接下载部署，开发者可通过编译开关一键开启硬件加速。
推荐理由：这是一份硬核的端侧部署指南，实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%，做移动端 AI 的团队可以直接抄作业。
VISTA-4B 是基于 Qwen3.5-4B 骨干的 GUI 定位模型，输入截图与自然语言指令，输出归一化 0-1000 坐标。训练采用视图一致 GRPO 和自验证交叉视图锚定。在 GUI 定位基准上，SSPro 得分 64.2（相比 GRPO-4B 提升 2.0），SSV2 得分 93.8（下降 0.4），OSWorld-G 得分 61.2（提升 1.3），OSWorld-G-R 得分 69.7（提升 0.5）。模型已开源在 HuggingFace，推荐使用提示词并返回 [x,y] 格式坐标。
推荐理由：蚂蚁 inclusionAI 开源了一款 GUI 定位模型，基于 Qwen3.5 微调，在接地基准上小幅提升，关键是提供了自验证训练方法，做桌面自动化的可以直接下载用。
VISTA-9B是基于Qwen3.5 9B骨干训练的GUI定位模型，输入截图与自然语言指令，输出0-1000归一化坐标。采用VISTA（视图一致自验证）方法，含view-consistent GRPO与self-verified cross-view anchoring。在SSPro、SSV2、OSWorld-G、OSWorld-G-R上分别取得69.2、95.8、68.1、75.5分，超越Qwen3.5-9B与GRPO-9B基线。模型已开源，可通过HuggingFace加载使用。
推荐理由：蚂蚁 inclusionAI 的 VISTA-9B 专攻 GUI 定位，把截图和指令直接变成点击坐标，做界面自动化的开发者可以直接拿来用。训练中的视角一致性约束有点新意，但基准提升不大，更像个实干范本。
MiniMax (official)@MiniMax_AI精选AI 评分8282🎉 恭喜 @MiniMax_AI 发布 MiniMax M3！前沿的编程与智能体能力、原生图像和视频输入、计算机使用，以及 100 万 token 上下文窗口，全部集成在一个开放模型中。 M3 的核心是 MSA，一种全新的稀疏注意力架构：它不再对完整的 KV 缓存进行密集注意力计算，而是让每个查询对 128 token 的 KV 块打分，并仅对得分最高的块运行注意力。这正是让 100 万 token 上下文变得可实际服务的关键。 M3 在 vLLM 中实现首日支持，并已在 NVIDIA 和 AMD 硬件上验证： ✨ 带专用 prefill 和 decode 内核的 MSA 稀疏注意力 ✨ 支持前缀缓存和分块 prefill 的 100 万 token 上下文服务 ✨ BF16 和 MXFP8 检查点，同时为 Hopper 和 Blackwell 提供 MoE 后端 ✨ 原生多模态输入（图像 + 视频） ✨ 面向智能体工作负载的工具调用、推理解析和思考模式控制 这样的首日支持是真正的团队协作成果。感谢 @MiniMax_AI、@NVIDIAAI、@AIatAMD 和 @inferact 的团队，以及 vLLM 社区让这一切成为可能。🙏 深入了解实现细节、内核工作和部署方案： 🔗 https://vllm.ai/blog/2026-06-12-minimax-m3-vllm
推荐理由：M3把1M上下文从‘理论上能做’变成了‘今天就能部署’，MSA稀疏注意力是关键，开源社区和推理框架的深度合作值得关注。
苹果在 iOS 27 中优化健康 App，将列表改为卡片布局并增加导航栏。新增视觉智能营养识别，用户通过相机 Siri 模式拍摄食物可获取加工程度、蛋白质、含糖量等信息及营养价值评级，不提供精确卡路里，需 iPhone 15 Pro 及以上。经期追踪扩展支持围绝经期，可分析长期周期异常模式并推送提醒与指导。Fitness+ 新增围绝经期和绝经期课程。数据同步速度提升，GymKit 扩展至 iPhone，无需 Apple Watch 即可与健身设备配对同步数据。
推荐理由：视觉智能营养识别不能给精确卡路里，但那个“深度加工食品”提醒对普通人很实用，健康App这次更新算得上近年最有用了。
vLLM 宣布对 MiniMax M3 的 day-0 支持，覆盖 BF16 与 MXFP8 检查点，支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码（草稿模型 Inferact/MiniMax-M3-EAGLE3）以及 TP/EP 部署和 Docker 镜像。
推荐理由：官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节，部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。
Logan Kilpatrick@OfficialLoganK精选AI 评分8181Gemini Omni Flash 在图像到视频、文本到视频和视频编辑方面达到了 SATA : ) 很高兴很快能将这一能力通过 API 提供给开发者！
推荐理由：视频生成正式进入全模态一体时代，Gemini Omni Flash 把图生视频、文生视频和剪辑整合在一个模型里，API 很快上线，做视频工具的可以提前琢磨对手在哪了。