技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
450 条精选近 30 天 30 条共收录 2,833 条
Anthropic与顶尖化学家合作，提升Claude在化学领域的实用性。首个白皮书测试Claude在NMR谱图分析上的表现：在20个化合物上，对比Claude Opus 4.7、Opus 4.6、Sonnet 4.6与ChemDraw、MestReNova的正向预测（从结构预测谱图）和反向结构解析（从实验谱图推断结构）能力。所有化合物选自模型训练截止日期后发布的ChemRxiv预印本，以避免选择偏差。
推荐理由：化学家可能几年后回头看会记起这篇，Claude Opus 4.7 在 NMR 预测上追平了 ChemDraw，还顺手做了反向结构解析——专业软件不干的事，它用更接近人类日常输入的方式做到了。
Michael Truell@mntruell精选AI 评分8080与 AI 智能体协作应感觉像与同事协作一样。你应能“与它们交谈”——不仅通过文本聊天，还能一起对着屏幕做手势、实时对话等。
借助设计模式，你现在可以通过指向、绘制或语音来更新你的 UI。
推荐理由：Cursor 新加的 Design Mode 让改 UI 像跟同事比划屏幕一样自然，手势、画框、说话都能驱动 agent，AI 编程工具第一次有了‘面对面’的感觉。
Google AI@GoogleAI精选AI 评分7878推荐理由：周报里藏了个大号：Gemma 4 12B开源多模态且完全离线，开发者今天就能在自己笔记本上跑起来，Co-Scientist的多agent科学推理也有看头。
Cursor 更新 Design Mode，支持点击元素、在页面上绘制区域或语音描述来向 AI 智能体传达修改意图。智能体将元素身份（xpath、组件、属性、计算样式等）与页面截图一并纳入上下文，快速定位源代码并高效编辑。借助 Composer 2.5 模型的快速执行能力，可连续下达多个编辑指令，智能体完成后应用热更新即时显示效果。这一更新将视觉交互融入正常编辑循环，使 UI 迭代更直观高效。
推荐理由：Cursor这次的Design Mode把「指哪改哪」做成了标准流程，不再靠一句prompt猜你的意图，而是直接给agent看元素、画圈圈，前端开发的反馈循环被压缩到秒级，赶紧试试。
Google Gemini@GeminiApp精选AI 评分8181
推荐理由：Gemini Live 终于能用嘴改图了，实时对话+图像生成让装修试色、数学解题变成「聊着天就把活干了」，产品人和普通用户都该试试这个新交互。
据《连线》今日报道，Meta 通过多次应用更新将人脸识别代码推送到智能眼镜配套 App 中，代号“NameTag”。该功能利用已部署的三个 AI 模型将人脸转换为“人脸特征模板”，与手机本地数据库匹配，识别成功后向佩戴者发送通知。App 下载量超 5000 万次。Meta 回应称代码仅为探索，尚未决定推出，且不会建立中央人脸数据库。此前 Meta 曾因人脸识别问题在伊利诺伊州和得克萨斯州分别达成 6.5 亿美元和 14 亿美元和解。
推荐理由：Meta一边付近百亿美元和解金，一边把完整人脸识别代码塞进 5000 万用户的眼镜里，「探索」这个解释太轻巧——代码都推送了，离功能上线只差一个开关。
OpenBMB@OpenBMB精选AI 评分6666推荐理由：这不是又一个AI读财报的demo，而是直接上线接客的商业产品。做财务、审计的可以试试它从招股书里自动扒表格和勾稽检查的实用性。
6月3日，京东开源JoyAI-Echo框架，解决长视频生成中角色身份崩坏、音色突变和生成缓慢三大难题。该框架通过跨模态音视频记忆库保持5分钟内角色外观与音色一致，记忆驱动后训练结合DMD技术带来约7.5倍推理加速。新增Director Agent支持自然语言对话式局部修订，无需重跑整条视频。配套轻量化实时超分模块，支持736×1280→1152×1920及1472×2560两档分辨率。评测集显示，语音内容准确率0.8646，用户偏好多项领先。代码与权重已开源至GitHub。
推荐理由：长视频生成一直被角色崩塌和龟速生成卡死，JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速，Director Agent 对话式编辑的思路很先进，做 AI 视频的朋友可以直接去 GitHub 开跑。
Nemotron 3.5 Content Safety基于Gemma 3 4B IT，提供128K上下文窗口，支持用户提示、可选图像与助手响应的统一多模态安全评估。新增自定义策略执行，允许企业用自然语言定义专属安全规则；THINK模式可输出可审计的逐步推理痕迹。显式训练覆盖12种语言，并借助基座模型零样本泛化至约140种语言。输出提供低延迟二分类、带分类标签、THINK推理痕迹三种模式。安全分类遵循Aegis 2.0框架（13核心类别+10细分类别）。同步发布多模态、多语言安全数据集，可在8GB+ VRAM GPU上实时部署。
推荐理由：Nemotron 3.5 把内容安全从「单模态英文」拉到「多语言多模态可定制」，自定义策略和推理 trace 让企业能审计决策，做安全平台的值得细看。
Google AI Developers@googleaidevs精选AI 评分7070介绍 Magenta RealTime 2 (MRT2)：你可以像演奏乐器一样演奏的实时音乐模型。 MRT2 提供 MIDI 和提示控制，并可在 MacBook 上原生运行，延迟低于 200ms。 开放权重。开源推理引擎。一整套应用和插件。 在下方听听它能做什么，并亲自试一试 🧵
推荐理由：Magenta RealTime 2 把音乐生成从「后期制作」拉到了「实时演奏」，开放权重且延迟低于 200ms，音乐创作者值得立刻上手试试。
SiliconFlow@SiliconFlowAI精选AI 评分7272推荐理由：后训练模型能直追 GPT-5.5 和 Claude 4.7，免费两周，对做 agent 和 deep search 的人来说是难得的低成本试错机会。
SenseTime@SenseTime_AI精选AI 评分6969推荐理由：商汤这回把图文统一模型开源了，SenseNova U1的infographic功能比市面上大多数文生图工具更懂文字和布局，做内容的朋友可以上手试试。
StepFun@StepFun_ai精选AI 评分7777许多研究实验室只在事后才考虑推理效率。Step 3.7 Flash 是一个 198B 稀疏 MoE VLM，由 @StepFun_ai 从一开始就为推理而设计。196B 语言主干，搭配 1.8B 视觉编码器。 为真实世界的智能体工作负载而构建，运行速度最高可达 400 tok/sec。原生多模态理解与行动、可靠的工具使用，以及增强的网页与视觉搜索。 Apache 2.0。立即试用 → https://fireworks.ai/models/fireworks/step-3p7-flash-nvfp4
推荐理由：198B稀疏MoE加MTP解码把速度推到400 tok/s，还开源Apache 2.0，这规格做agent的大脑正合适，做实时应用的可以试试手。
ElevenLabs 在 ElevenCreative 的节点式创作画布 Flows 中推出 Flows Agent，用户在聊天侧栏描述需求后，Agent 会选择合适模型、创建并连接节点、执行图像、视频、配音、口型同步等完整生成流程。
推荐理由：原文介绍了对话式 Agent 如何在节点画布中搭建并迭代多模态流水线，还给出 assist 模式和后台运行等控制方式。
Elon Musk@elonmusk精选AI 评分7171我们正与 @xai 合作，将 Grok 引入 @Cloudflare AI Gateway。 • Grok LLM、音频、图像和视频模型现已通过 AI Gateway 提供 • 直接通过 Cloudflare 计费 • 无需额外的认证、环境变量、API 密钥 𝚎𝚗𝚟.𝙰𝙸.𝚛𝚞𝚗("𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚒𝚖𝚊𝚐𝚒𝚗𝚎-𝚟𝚒𝚍𝚎𝚘-𝟷.𝟻-𝚙𝚛𝚎𝚟𝚒𝚎𝚠")
推荐理由：开发者现在可以在Cloudflare上零配置调用Grok全家桶了，从LLM到视频生成，对已经用Cloudflare生态的人来说，这比单独接入xAI API省事太多。
xAI 通过 API 发布了图像转视频模型 `grok-imagine-video-1.5-preview`（Grok Imagine 1.5 预览版）。该模型能将单张静态图片转为流畅的电影感视频，用户提供起始帧和描述运动的提示词后，模型可生成包含相机移动、氛围和物理效果的动画，并保持对源图像的忠实。支持生成 720p 片段，可使用自然语言指令控制镜头、节奏和音效，并支持逐帧拼接成长场景。模型目前通过 xAI API 提供预览使用。
推荐理由：xAI的新视频模型从单张图像生成电影级短片，支持自然语言控制运镜和氛围，对视频创作者和开发者是个值得一试的工具。
Elon Musk@elonmusk精选AI 评分7373伊利亚特（特洛伊）预告片由刚刚发布的 Grok Imagine 1.5 制作
推荐理由：Elon 亲自演示 Grok Imagine 1.5，生成的《伊利亚特》预告片质感让我觉得视频生成赛道又要卷一轮，做短片的可以盯一下。
Gemma 4 12B 是一款密集多模态模型，专为消费级设备上的高性能本地 AI 执行而设计。其采用新颖的无编码器架构，绕过传统视觉和音频编码器，将多模态数据直接输入大语言模型主干。
推荐理由：Google 把多模态模型直接塞进消费级设备，靠的不再是缩水而是架构层面的创新。12B 放在本地跑，这次玩法变了。
SenseTime@SenseTime_AI精选AI 评分7373推荐理由：商汤把理解、推理、创作塞进一个模型，而且直接开源，做视觉营销的可以不用再拼凑工具链了。
MiniMax (official)@MiniMax_AI精选AI 评分8080MiniMax-M3 在 @ValsAI 排名中位列第六 新的开源权重 SOTA 🚀
MiniMax 刚刚发布了 MiniMax-M3，这是他们的首个多模态模型。它是 Vals Index 和 Vals Multimodal Index 上新的开放权重 SOTA，总体排名第 #6。
推荐理由：MiniMax 闷声干大事，第一个多模态模型就拿下 open-weight SOTA 和总榜第 6，做多模态应用的可以蹲一下权重。