SenseTime@SenseTime_AI精选AI 评分7272推荐理由：商汤把原生多模态模型的训练细节全公开了，无视觉编码器、原生MoE架构，还开源了38B-A3B权重，做多模态模型的可以直接照着技术报告复现。
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
451 条精选近 30 天 31 条共收录 2,837 条
更新
精选归档 · 第 17 页
- SenseTime@SenseTime_AI精选AI 评分7272
Demis Hassabis@demishassabis精选AI 评分8181引用Google DeepMind@GoogleDeepMind我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写，在屏幕上直观地指挥 Gemini 完成任务 🧵
推荐理由：用了50年的鼠标指针第一次被AI改造，这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini，产品经理和设计师都该去玩一下。
OpenRouter@OpenRouter精选AI 评分6969推荐理由：将视频理解提升到结构化空间输出，动态帧率分析让模型能真正「看懂」动作，做具身智能的开发者可以关注。
SiliconFlow@SiliconFlowAI精选AI 评分7474引用Andrej Karpathy@karpathy顺便说一句，这真的非常有效：在你的查询末尾让你的 LLM“将你的回答结构化为 HTML”，然后在浏览器中查看生成的文件。我也曾成功让 LLM 把输出呈现为幻灯片等形式。 更一般地说，在我看来，音频是人类偏好的 AI 输入，而视觉（图像/动画/视频）则是他们偏好的输出。我们大脑中大约三分之一是一个专用于视觉的大规模并行处理器，它是信息进入大脑的十车道超级高速公路。随着 AI 的进步，我认为我们会看到一个利用这一点的演进过程： 1) 原始文本（阅读起来困难/费力） 2) markdown（粗体、斜体、标题、表格，稍微更护眼一些）<-- 当前默认 3) HTML（仍然带有底层代码的过程式形式，但在图形、布局甚至交互性上灵活得多）<-- 尚处早期，但正在形成新的良好默认 ...4,5,6,... n) 交互式神经视频/模拟 在我看来，这种外推（尽管相关技术目前还不存在）最终会走向某种由扩散神经网络直接生成的交互式视频。关于如何将精确/过程式的“软件 1.0”产物（例如交互式模拟）与神经产物（扩散网格）编织在一起，还有许多未解问题，但总体方向类似于最近爆火的 https://x.com/zan2434/status/2046982383430496444 在输入端也有必要的、尚待完成的改进。音频、文本或视频单独都不够，例如，我觉得需要指向和比划屏幕上的东西，就像你与一个实际坐在你身旁、和你共用电脑屏幕的人会做的所有事情一样。 TLDR 人类与 AI 之间的输入/输出心智融合正在进行中，还有很多工作要做，也有重大进展有待取得，远在我们一路跳到类似 neuralink 的脑机接口之类的东西之前。就当前阶段值得探索的东西而言，小贴士：试试要求 HTML。
推荐理由：Karpathy 给的路线图从文本到 HTML 再到神经视频，其中第一步的‘让 LLM 输出 HTML’你今晚就能用上。未来交互形态的思考，值得产品经理细读。
Thinking Machines Lab：官方博客精选AI 评分5959 Thinking Machines Lab发布Interaction Models研究预览
Thinking Machines Lab发布interaction models研究预览。该模型从零训练，原生处理音频、视频和文本，采用多流微回合设计实现实时响应，无需外部脚手架。研究预览展示了全新的交互能力，并在智能性与响应性上取得综合SOTA表现。
推荐理由：Thinking Machines 把实时交互训进了模型本身，不再是外挂脚手架，微轮次架构和 benchmark 数据很硬，做语音/视频助手的可以认真看看，虽然还是研究预览，但方向值得盯着。
Elon Musk@elonmusk精选AI 评分7171引用Wes@wmorrill3这些点中的每一个都是车队中真实发生的碰撞。真实世界的速度、碰撞和人员。而不仅仅是法规测试用例。 正是这些数据的丰富性才促成了这一结果。通过仿真，我们可以回放碰撞，并测量人体模型上所受的力。 然后遍历约束装置的展开时间，发现更早展开能为气囊提供最佳充气时间，并在乘员移出位置之前完成安全带预紧。 但碰撞加速度计需要时间才能确定。降低这一时间阈值会带来误触发的风险。 使用视觉让车辆有信心缩短这一时间。摄像头看到即将发生的碰撞，并与传感器一起告诉约束控制器降低滤波并更早采取行动。 预测伤害严重程度中的 Y 轴偏移，是基于以更快的检测阈值重新运行碰撞仿真后，人体模型中的传感器得出的。 如此全面地降低伤害严重程度是闻所未闻的，更不用说通过空中升级来实现这一点了。 我为分析团队的工作和奉献感到无比自豪。他们超越职责，提出“我们拥有道路上最安全的汽车，但能否让它更安全？”然后与视觉团队合作，构建实现这一目标所需的预测。经过仿真和物理碰撞测试的严格验证。如今已部署并改善着人们的生活。 我循环观看这段视频，想象着每一个点，一个人。
推荐理由：below_threshold:T2 推文门槛 75,当前 finalScore=71
Suno@suno精选AI 评分6868
推荐理由：Suno 这个用纯人声做流行歌的功能，把创作门槛砍到零，以后做 demo 比打字还快，玩音乐的一看就会想试。
Apple Machine Learning Research精选AI 评分6666 Velox：学习4D几何与外观的表示
Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。
推荐理由：苹果把动态点云的几何和外观塞进一个可压缩的latent space，思路干净但领域垂直，做3D视觉和AR的可以跟一下，其他人不用急着读。
IT之家·人工智能精选AI 评分7070 苹果首款 AI 可穿戴设备：内置摄像头的 AirPods 已进入 DVT 阶段，预计最快 9 月搭载新 Siri 亮相
据报道，苹果内置摄像头的AirPods已进入设计验证测试（DVT）阶段，最快有望于今年9月作为其首款AI可穿戴设备发布。该产品左右耳机配备低分辨率摄像头，用于捕捉环境视觉信息，以支持升级版Siri实现视觉问答等功能。其整体外观类似AirPods Pro 3，但耳机柄因容纳摄像头而加长。产品原计划2026年发布，因Siri升级延迟而推迟，此次升级得益于与谷歌Gemini的技术合作。苹果还在探索其导航提醒等用途，并为缓解隐私担忧内置了数据上传指示灯。
推荐理由：苹果把摄像头塞进 AirPods 做 Siri 的眼睛，这比智能眼镜更务实，但隐私指示灯能有多显眼是个疑问，做 AI 硬件的该看看苹果怎么绕开 Meta 的坑。
Apple Machine Learning Research精选AI 评分6969 用于学习语义丰富视觉表征的文本条件JEPA
研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。
推荐理由：Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练，用稀疏交叉注意力减少预测不确定性，对多模态表征学习是个不错的思路补充，做视觉模型的值得一看。
- OpenRouter@OpenRouter精选AI 评分6868
推荐理由：OpenRouter 把 Gemini 3.1 Flash Lite 的多模态 1M 上下文压到 $0.25/M token，这个定价让 Flash 系列不再是试验品，轻量级应用可以认真考虑它了。
OpenAI：官网动态精选AI 评分8686 通过 API 中的新模型推进语音智能
OpenAI API 推出了新的实时语音模型，能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平，支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具，以构建更流畅、更智能的语音应用体验。
推荐理由：语音模型不再只是‘听写’，开始能推理和翻译了，OpenAI这次API更新的几个新模型把语音智能推向更实用的阶段，做语音产品的值得赶紧试试。
Z.ai@Zai_org精选AI 评分7373推荐理由：智谱把多模态、RL和Agent工具链捆成一体，这篇报告对做多模态Agent的人有直接参考价值，不只刷榜还有工程细节。
xAI：News精选AI 评分7979 Grok Imagine API 推出“Quality Mode”图像生成与编辑功能
xAI正式向企业开发者和团队推出Grok Imagine API的“Quality Mode”图像生成与编辑功能。该模式在真实性、文本渲染和创意控制上实现显著提升，能生成细节精细、纹理准确、场景逼真的图像，并具备清晰的多语言文本生成能力。在独立排行榜中，该API已位列顶级模型之列。定价为输入提示每次0.01美元，输出图像根据分辨率（1K或2K）每张费用在0.05至0.07美元之间。此功能适用于产品可视化、营销素材快速生成、用户内容风格创作等多种商业场景。
推荐理由：Grok Imagine 的 Quality Mode 在写实度和文字渲染上提升很明显，对需要高频生成产品图和 UGC 内容的品牌团队是个实在的更新，API 直接能用，单张才几分钱。
Apple Machine Learning Research精选AI 评分7373 从位置认知到功能理解：为多模态大语言模型设立空间功能智能基准
现有基准如VSI-Bench主要评估基础几何感知能力，但未能触及具身智能所需的高阶认知。为此，研究团队推出了空间功能智能基准SFI-Bench，该基准包含超过1700个问题，数据来源于多样化的第一人称室内扫描视频。SFI-Bench旨在系统评估多模态大模型从物体位置感知到功能意图理解的高级空间推理能力，标志着对智能体空间认知的评估从几何层面迈向功能层面。
推荐理由：Apple 自己搞的 SFI-Bench 把评估从几何定位推进到功能理解，这个方向很对，做具身智能和空间推理的团队该跟一下。
Google Gemini@GeminiApp精选AI 评分6767推荐理由：Nano Banana 2 把 Gemini 的图像生成从写 prompt 变成了识别你的兴趣，不用费力描述也能出图，对普通用户可能是真痛点，看直播看看实际效果。
IT之家·人工智能精选AI 评分7171 豆包大模型家族首款全模态理解模型：字节跳动 Doubao-Seed-2.0-lite 升级
字节跳动火山引擎发布豆包大模型家族首款全模态理解模型 Doubao-Seed-2.0-lite 升级版。该模型原生统一支持视频、图像、音频和文本理解，并能进行跨模态联合推理，在物理、医疗等学科推理及细粒度感知上表现超越此前Pro版本。音频方面支持19种语种转写及多语种互译，多项基准测试优于Gemini-3.1-Pro。同时，其Agent、Coding与GUI能力升级，能更稳定处理长任务、胜任深度开发，并实现界面理解与操作执行的闭环。新版本已在火山方舟上线，旨在为企业提供高性价比的全模态任务部署方案。
推荐理由：豆包Seed 2.0 lite把视频、音频、图片、文字原生塞进一个模型，还顺手强化了Agent和GUI操作，对需要全模态处理的企业来说，这可能是目前性价比最高的选择。
IT之家·人工智能精选AI 评分7070 苹果 iOS 27 将允许用户选择第三方 AI 模型，支持谷歌与 Anthropic 等
据报道，苹果计划在秋季发布的iOS 27等系统中，推出名为“Extensions”的新功能，允许用户自行选择已通过App Store集成的第三方AI模型（如谷歌、Anthropic的模型），来驱动设备上的文本生成、图像编辑等AI功能。此举将打破此前ChatGPT作为唯一第三方选项的独占地位。同时，Siri将支持更换不同音色以区分内外模型，并迎来独立App及更深度的系统整合。苹果将在App Store设立专区展示兼容应用，并对第三方模型生成的内容免责。
推荐理由：苹果放开 AI 模型底层的选择权，让谷歌和 Anthropic 进入原先 OpenAI 独占的地盘，这比发一个新模型更有生态意义——手机 OS 正在变成 AI 的分发渠道。
Google AI Developers@googleaidevs精选AI 评分6868
推荐理由：如果你在用 Gemini 搭 RAG 系统，这三项更新能直接改善搜索精度和可解释性，多模态搜索终于把图片和文档打通了，值得马上试试。
Sam Altman@sama精选AI 评分6969引用Eric@ericmitchellai很高兴地宣布，我们今天正在更新 ChatGPT 的默认模型！ 5.5 instant 在智力水平、图像感知和事实准确性方面有了大幅提升。 同时，写作风格也进行了更新，变得更加简洁直接。 你的愿望清单上还有哪些内容？
推荐理由：ChatGPT 默认模型悄悄换上了 5.5 instant，图像感知和事实性提升明显，写作风格也更直接，每天用它的人今天会感觉到差异，不是小修小补。