技术方向
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
434 条精选近 30 天 27 条共收录 2,632 条
SenseTime@SenseTime_AI精选AI 评分7070很高兴为 SenseNova-U1 的空间智能能力做出了贡献，在 VSI-Bench 等关键基准上超越了 Qwen3.5 等强劲基线。 我们也很激动地开源了 SenseNova-SI-8M，这是目前最大的空间问答数据集。 今年六月 CVPR 见，很乐意当面交流！ SenseNova-SI-8M: https://huggingface.co/datasets/sensenova/SenseNova-SI-8M
推荐理由：商汤的 SenseNova-U1 在空间智能基准上压过 Qwen3.5，还顺手开源了目前最大的空间 QA 数据集 SenseNova-SI-8M，搞具身智能和多模态的可以直接抱走数据。
研究团队与百余名专业创作者历时一年，构建了一个视频描述生成流程，其核心在于扩展精细化的人类-AI协同监督，而非单纯扩大模型规模。该研究（入选CVPR 2026亮点论文）指出，当前主流视频生成模型在理解和生成具有电影感的专业运镜（如希区柯克式滑动变焦、精确的焦点转移或荷兰角镜头）时存在明显不足，常产出通用或焦点错误的画面。这项工作揭示了一条通过提升监督质量来增强模型“电影语言”表达能力的新路径。
推荐理由：这篇CVPR 2026 Highlight的博客版很有意思，它用100多个专业电影人来标注视频，教VLM学会推拉摇移的镜头语言，不是又多一个数据集，而是提醒我们：高质量的人工标注可能比堆模型更重要。
Together AI 发布全开源视频翻译工具 Violin，代码以 MIT 许可证开放在 github.com/shang-zhu/violin。流程分三步，用 Together 的 Whisper V3 做多语言转写，DeepSeek V4 Pro 做翻译，Together 托管的 Cartesia Sonic 3 合成多种母语语音，且不支持声音克隆。
推荐理由：原文完整给出了 ASR、LLM 翻译、TTS 三段流水线所用模型和 MIT 开源仓库入口，读者可以照着部署或改造成自己的翻译流程。
Runway正式发布Runway Agent，这是一个能够通过单次对话将创意想法转化为完整、可发布视频的智能创作伙伴。用户只需用自然语言描述需求，Agent便能根据上下文和目标，自主完成概念提案、故事节奏设计、视觉方向规划，并最终生成包含多场景、旁白、对话和音乐的成片。它旨在为品牌团队、营销人员、创意机构和电影制作人快速生产各类视频内容，如品牌宣传、社交媒体素材和短片，将传统需要数天或数周的审核制作周期压缩至几分钟。该产品现已上线，新免费计划用户可获得1500积分用于制作首个视频。
推荐理由：Runway Agent 把视频生产从“一个团队干一周”变成“一个人聊十分钟”，品牌和内容团队的视频成本结构可能就此改写。
SenseTime@SenseTime_AI精选AI 评分7272推荐理由：商汤把原生多模态模型的训练细节全公开了，无视觉编码器、原生MoE架构，还开源了38B-A3B权重，做多模态模型的可以直接照着技术报告复现。
Demis Hassabis@demishassabis精选AI 评分8181我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写，在屏幕上直观地指挥 Gemini 完成任务 🧵
推荐理由：用了50年的鼠标指针第一次被AI改造，这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini，产品经理和设计师都该去玩一下。
OpenRouter@OpenRouter精选AI 评分6969推荐理由：将视频理解提升到结构化空间输出，动态帧率分析让模型能真正「看懂」动作，做具身智能的开发者可以关注。
SiliconFlow@SiliconFlowAI精选AI 评分7474顺便说一句，这真的非常有效：在你的查询末尾让你的 LLM“将你的回答结构化为 HTML”，然后在浏览器中查看生成的文件。我也曾成功让 LLM 把输出呈现为幻灯片等形式。 更一般地说，在我看来，音频是人类偏好的 AI 输入，而视觉（图像/动画/视频）则是他们偏好的输出。我们大脑中大约三分之一是一个专用于视觉的大规模并行处理器，它是信息进入大脑的十车道超级高速公路。随着 AI 的进步，我认为我们会看到一个利用这一点的演进过程： 1) 原始文本（阅读起来困难/费力） 2) markdown（粗体、斜体、标题、表格，稍微更护眼一些）<-- 当前默认 3) HTML（仍然带有底层代码的过程式形式，但在图形、布局甚至交互性上灵活得多）<-- 尚处早期，但正在形成新的良好默认 ...4,5,6,... n) 交互式神经视频/模拟 在我看来，这种外推（尽管相关技术目前还不存在）最终会走向某种由扩散神经网络直接生成的交互式视频。关于如何将精确/过程式的“软件 1.0”产物（例如交互式模拟）与神经产物（扩散网格）编织在一起，还有许多未解问题，但总体方向类似于最近爆火的 https://x.com/zan2434/status/2046982383430496444 在输入端也有必要的、尚待完成的改进。音频、文本或视频单独都不够，例如，我觉得需要指向和比划屏幕上的东西，就像你与一个实际坐在你身旁、和你共用电脑屏幕的人会做的所有事情一样。 TLDR 人类与 AI 之间的输入/输出心智融合正在进行中，还有很多工作要做，也有重大进展有待取得，远在我们一路跳到类似 neuralink 的脑机接口之类的东西之前。就当前阶段值得探索的东西而言，小贴士：试试要求 HTML。
推荐理由：Karpathy 给的路线图从文本到 HTML 再到神经视频，其中第一步的‘让 LLM 输出 HTML’你今晚就能用上。未来交互形态的思考，值得产品经理细读。
Thinking Machines Lab发布interaction models研究预览。该模型从零训练，原生处理音频、视频和文本，采用多流微回合设计实现实时响应，无需外部脚手架。研究预览展示了全新的交互能力，并在智能性与响应性上取得综合SOTA表现。
推荐理由：Thinking Machines 把实时交互训进了模型本身，不再是外挂脚手架，微轮次架构和 benchmark 数据很硬，做语音/视频助手的可以认真看看，虽然还是研究预览，但方向值得盯着。
Elon Musk@elonmusk精选AI 评分7171这些点中的每一个都是车队中真实发生的碰撞。真实世界的速度、碰撞和人员。而不仅仅是法规测试用例。 正是这些数据的丰富性才促成了这一结果。通过仿真，我们可以回放碰撞，并测量人体模型上所受的力。 然后遍历约束装置的展开时间，发现更早展开能为气囊提供最佳充气时间，并在乘员移出位置之前完成安全带预紧。 但碰撞加速度计需要时间才能确定。降低这一时间阈值会带来误触发的风险。 使用视觉让车辆有信心缩短这一时间。摄像头看到即将发生的碰撞，并与传感器一起告诉约束控制器降低滤波并更早采取行动。 预测伤害严重程度中的 Y 轴偏移，是基于以更快的检测阈值重新运行碰撞仿真后，人体模型中的传感器得出的。 如此全面地降低伤害严重程度是闻所未闻的，更不用说通过空中升级来实现这一点了。 我为分析团队的工作和奉献感到无比自豪。他们超越职责，提出“我们拥有道路上最安全的汽车，但能否让它更安全？”然后与视觉团队合作，构建实现这一目标所需的预测。经过仿真和物理碰撞测试的严格验证。如今已部署并改善着人们的生活。 我循环观看这段视频，想象着每一个点，一个人。
推荐理由：below_threshold:T2 推文门槛 75,当前 finalScore=71
Suno@suno精选AI 评分6868
推荐理由：Suno 这个用纯人声做流行歌的功能，把创作门槛砍到零，以后做 demo 比打字还快，玩音乐的一看就会想试。
Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。
推荐理由：苹果把动态点云的几何和外观塞进一个可压缩的latent space，思路干净但领域垂直，做3D视觉和AR的可以跟一下，其他人不用急着读。
据报道，苹果内置摄像头的AirPods已进入设计验证测试（DVT）阶段，最快有望于今年9月作为其首款AI可穿戴设备发布。该产品左右耳机配备低分辨率摄像头，用于捕捉环境视觉信息，以支持升级版Siri实现视觉问答等功能。其整体外观类似AirPods Pro 3，但耳机柄因容纳摄像头而加长。产品原计划2026年发布，因Siri升级延迟而推迟，此次升级得益于与谷歌Gemini的技术合作。苹果还在探索其导航提醒等用途，并为缓解隐私担忧内置了数据上传指示灯。
推荐理由：苹果把摄像头塞进 AirPods 做 Siri 的眼睛，这比智能眼镜更务实，但隐私指示灯能有多显眼是个疑问，做 AI 硬件的该看看苹果怎么绕开 Meta 的坑。
研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。
推荐理由：Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练，用稀疏交叉注意力减少预测不确定性，对多模态表征学习是个不错的思路补充，做视觉模型的值得一看。
OpenRouter@OpenRouter精选AI 评分6868推荐理由：OpenRouter 把 Gemini 3.1 Flash Lite 的多模态 1M 上下文压到 $0.25/M token，这个定价让 Flash 系列不再是试验品，轻量级应用可以认真考虑它了。
OpenAI API 推出了新的实时语音模型，能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平，支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具，以构建更流畅、更智能的语音应用体验。
推荐理由：语音模型不再只是‘听写’，开始能推理和翻译了，OpenAI这次API更新的几个新模型把语音智能推向更实用的阶段，做语音产品的值得赶紧试试。
Z.ai@Zai_org精选AI 评分7373推荐理由：智谱把多模态、RL和Agent工具链捆成一体，这篇报告对做多模态Agent的人有直接参考价值，不只刷榜还有工程细节。
xAI正式向企业开发者和团队推出Grok Imagine API的“Quality Mode”图像生成与编辑功能。该模式在真实性、文本渲染和创意控制上实现显著提升，能生成细节精细、纹理准确、场景逼真的图像，并具备清晰的多语言文本生成能力。在独立排行榜中，该API已位列顶级模型之列。定价为输入提示每次0.01美元，输出图像根据分辨率（1K或2K）每张费用在0.05至0.07美元之间。此功能适用于产品可视化、营销素材快速生成、用户内容风格创作等多种商业场景。
推荐理由：Grok Imagine 的 Quality Mode 在写实度和文字渲染上提升很明显，对需要高频生成产品图和 UGC 内容的品牌团队是个实在的更新，API 直接能用，单张才几分钱。
现有基准如VSI-Bench主要评估基础几何感知能力，但未能触及具身智能所需的高阶认知。为此，研究团队推出了空间功能智能基准SFI-Bench，该基准包含超过1700个问题，数据来源于多样化的第一人称室内扫描视频。SFI-Bench旨在系统评估多模态大模型从物体位置感知到功能意图理解的高级空间推理能力，标志着对智能体空间认知的评估从几何层面迈向功能层面。
推荐理由：Apple 自己搞的 SFI-Bench 把评估从几何定位推进到功能理解，这个方向很对，做具身智能和空间推理的团队该跟一下。
Google Gemini@GeminiApp精选AI 评分6767推荐理由：Nano Banana 2 把 Gemini 的图像生成从写 prompt 变成了识别你的兴趣，不用费力描述也能出图，对普通用户可能是真痛点，看直播看看实际效果。