技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
445 条精选近 30 天 31 条共收录 2,757 条
据《连线》今日报道，Meta 通过多次应用更新将人脸识别代码推送到智能眼镜配套 App 中，代号“NameTag”。该功能利用已部署的三个 AI 模型将人脸转换为“人脸特征模板”，与手机本地数据库匹配，识别成功后向佩戴者发送通知。App 下载量超 5000 万次。Meta 回应称代码仅为探索，尚未决定推出，且不会建立中央人脸数据库。此前 Meta 曾因人脸识别问题在伊利诺伊州和得克萨斯州分别达成 6.5 亿美元和 14 亿美元和解。
推荐理由：Meta一边付近百亿美元和解金，一边把完整人脸识别代码塞进 5000 万用户的眼镜里，「探索」这个解释太轻巧——代码都推送了，离功能上线只差一个开关。
OpenBMB@OpenBMB精选AI 评分6666推荐理由：这不是又一个AI读财报的demo，而是直接上线接客的商业产品。做财务、审计的可以试试它从招股书里自动扒表格和勾稽检查的实用性。
6月3日，京东开源JoyAI-Echo框架，解决长视频生成中角色身份崩坏、音色突变和生成缓慢三大难题。该框架通过跨模态音视频记忆库保持5分钟内角色外观与音色一致，记忆驱动后训练结合DMD技术带来约7.5倍推理加速。新增Director Agent支持自然语言对话式局部修订，无需重跑整条视频。配套轻量化实时超分模块，支持736×1280→1152×1920及1472×2560两档分辨率。评测集显示，语音内容准确率0.8646，用户偏好多项领先。代码与权重已开源至GitHub。
推荐理由：长视频生成一直被角色崩塌和龟速生成卡死，JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速，Director Agent 对话式编辑的思路很先进，做 AI 视频的朋友可以直接去 GitHub 开跑。
Nemotron 3.5 Content Safety基于Gemma 3 4B IT，提供128K上下文窗口，支持用户提示、可选图像与助手响应的统一多模态安全评估。新增自定义策略执行，允许企业用自然语言定义专属安全规则；THINK模式可输出可审计的逐步推理痕迹。显式训练覆盖12种语言，并借助基座模型零样本泛化至约140种语言。输出提供低延迟二分类、带分类标签、THINK推理痕迹三种模式。安全分类遵循Aegis 2.0框架（13核心类别+10细分类别）。同步发布多模态、多语言安全数据集，可在8GB+ VRAM GPU上实时部署。
推荐理由：Nemotron 3.5 把内容安全从「单模态英文」拉到「多语言多模态可定制」，自定义策略和推理 trace 让企业能审计决策，做安全平台的值得细看。
Google AI Developers@googleaidevs精选AI 评分7070介绍 Magenta RealTime 2 (MRT2)：你可以像演奏乐器一样演奏的实时音乐模型。 MRT2 提供 MIDI 和提示控制，并可在 MacBook 上原生运行，延迟低于 200ms。 开放权重。开源推理引擎。一整套应用和插件。 在下方听听它能做什么，并亲自试一试 🧵
推荐理由：Magenta RealTime 2 把音乐生成从「后期制作」拉到了「实时演奏」，开放权重且延迟低于 200ms，音乐创作者值得立刻上手试试。
SiliconFlow@SiliconFlowAI精选AI 评分7272推荐理由：后训练模型能直追 GPT-5.5 和 Claude 4.7，免费两周，对做 agent 和 deep search 的人来说是难得的低成本试错机会。
SenseTime@SenseTime_AI精选AI 评分6969推荐理由：商汤这回把图文统一模型开源了，SenseNova U1的infographic功能比市面上大多数文生图工具更懂文字和布局，做内容的朋友可以上手试试。
StepFun@StepFun_ai精选AI 评分7777许多研究实验室只在事后才考虑推理效率。Step 3.7 Flash 是一个 198B 稀疏 MoE VLM，由 @StepFun_ai 从一开始就为推理而设计。196B 语言主干，搭配 1.8B 视觉编码器。 为真实世界的智能体工作负载而构建，运行速度最高可达 400 tok/sec。原生多模态理解与行动、可靠的工具使用，以及增强的网页与视觉搜索。 Apache 2.0。立即试用 → https://fireworks.ai/models/fireworks/step-3p7-flash-nvfp4
推荐理由：198B稀疏MoE加MTP解码把速度推到400 tok/s，还开源Apache 2.0，这规格做agent的大脑正合适，做实时应用的可以试试手。
ElevenLabs 在 ElevenCreative 的节点式创作画布 Flows 中推出 Flows Agent，用户在聊天侧栏描述需求后，Agent 会选择合适模型、创建并连接节点、执行图像、视频、配音、口型同步等完整生成流程。
推荐理由：原文介绍了对话式 Agent 如何在节点画布中搭建并迭代多模态流水线，还给出 assist 模式和后台运行等控制方式。
Elon Musk@elonmusk精选AI 评分7171我们正与 @xai 合作，将 Grok 引入 @Cloudflare AI Gateway。 • Grok LLM、音频、图像和视频模型现已通过 AI Gateway 提供 • 直接通过 Cloudflare 计费 • 无需额外的认证、环境变量、API 密钥 𝚎𝚗𝚟.𝙰𝙸.𝚛𝚞𝚗("𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚒𝚖𝚊𝚐𝚒𝚗𝚎-𝚟𝚒𝚍𝚎𝚘-𝟷.𝟻-𝚙𝚛𝚎𝚟𝚒𝚎𝚠")
推荐理由：开发者现在可以在Cloudflare上零配置调用Grok全家桶了，从LLM到视频生成，对已经用Cloudflare生态的人来说，这比单独接入xAI API省事太多。
xAI 通过 API 发布了图像转视频模型 `grok-imagine-video-1.5-preview`（Grok Imagine 1.5 预览版）。该模型能将单张静态图片转为流畅的电影感视频，用户提供起始帧和描述运动的提示词后，模型可生成包含相机移动、氛围和物理效果的动画，并保持对源图像的忠实。支持生成 720p 片段，可使用自然语言指令控制镜头、节奏和音效，并支持逐帧拼接成长场景。模型目前通过 xAI API 提供预览使用。
推荐理由：xAI的新视频模型从单张图像生成电影级短片，支持自然语言控制运镜和氛围，对视频创作者和开发者是个值得一试的工具。
Elon Musk@elonmusk精选AI 评分7373伊利亚特（特洛伊）预告片由刚刚发布的 Grok Imagine 1.5 制作
推荐理由：Elon 亲自演示 Grok Imagine 1.5，生成的《伊利亚特》预告片质感让我觉得视频生成赛道又要卷一轮，做短片的可以盯一下。
Gemma 4 12B 是一款密集多模态模型，专为消费级设备上的高性能本地 AI 执行而设计。其采用新颖的无编码器架构，绕过传统视觉和音频编码器，将多模态数据直接输入大语言模型主干。
推荐理由：Google 把多模态模型直接塞进消费级设备，靠的不再是缩水而是架构层面的创新。12B 放在本地跑，这次玩法变了。
SenseTime@SenseTime_AI精选AI 评分7373推荐理由：商汤把理解、推理、创作塞进一个模型，而且直接开源，做视觉营销的可以不用再拼凑工具链了。
MiniMax (official)@MiniMax_AI精选AI 评分8080MiniMax-M3 在 @ValsAI 排名中位列第六 新的开源权重 SOTA 🚀
MiniMax 刚刚发布了 MiniMax-M3，这是他们的首个多模态模型。它是 Vals Index 和 Vals Multimodal Index 上新的开放权重 SOTA，总体排名第 #6。
推荐理由：MiniMax 闷声干大事，第一个多模态模型就拿下 open-weight SOTA 和总榜第 6，做多模态应用的可以蹲一下权重。
Microsoft Research@MSFTResearch精选AI 评分7272天气预报速度比传统超级计算机快数千倍。听听Kenji Takeda在#MSBuild微软研究实验室关于Aurora的分享。了解更多：https://msft.it/6018vjGUA
推荐理由：微软把天气预报推到了推理速度比超算快数千倍，这在气象AI里算是代际提升，虽然离普通人远，但对气候建模和极端天气预警是实实在在的突破。
OpenRouter@OpenRouter精选AI 评分6868三款新的 @MicrosoftAI 模型现已在 OpenRouter 上线！ 同步推出：MAI-Image-2.5、MAI-Transcribe-1.5 和 MAI-Voice-2。详情见下文 🧵
推荐理由：微软三个多模态模型一口气上架 OpenRouter，图像、转录、语音全齐了，开发者直接调 API 就能用，做产品的可以试试效果。
Gemma 4 12B 是 Google DeepMind 最新推出的中等规模多模态模型，采用无编码器统一架构，原生支持音频输入。其基准测试性能接近 26B MoE 模型，但内存占用不到一半，仅需 16GB 显存或统一内存即可在消费级笔记本上本地运行。模型内置多 token 预测（MTP）drafter 以降低延迟，基于 Apache 2.0 开源许可发布，已累计超过 1.5 亿次下载。
推荐理由：统一无编码器架构让 12B 模型在消费级笔记本上跑出接近 26B 的多模态 Agent 体验，开源 + Apache 2.0，本地部署门槛又压低了。
Microsoft AI 发文阐述其在健康领域的价值观如何落实为产品与工程实践，称其消费级产品每天处理数千万条健康问题。
推荐理由：官方阐述微软 AI 在健康领域的价值落地，交代 Mayo Clinic 医疗模型合作与 Copilot Health 预览的进展。
Together AI 作为 MiniMax M3 的首选云合作伙伴，介绍了为该模型提供生产级推理服务的工程方案。M3 采用 MiniMax Sparse Attention 块稀疏注意力，使 prefilling 提速超 9x、decoding 提速超 15x，支持 1M token 上下文与原生多模态。
推荐理由：原文由服务方工程团队拆解 MSA 的内核优化与多模态网关预处理方案，给出可参考的长上下文推理工程路径和实测吞吐提升数字。