技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
445 条精选近 30 天 30 条共收录 2,757 条
蚂蚁集团旗下具身智能团队 Robbyant 发布 LingBot-VA 2.0，首个原生具身基础模型。该模型采用因果 DiT 架构，视频专家约 13.0B 参数（约 1.9B 激活），训练规模约 15.3B 参数，推理时每 token 约 2.5B 激活。模型引入多块预测（MCP）实现 2.3 倍训练加速，并通过前瞻推理将推理延迟降至 142 ms/chunk。在 RoboTwin 2.0 的 50 个任务上，干净与随机演示数据平均成功率分别达 93.8% 和 93.4%。
推荐理由：具身智能领域第一个从零预训练的因果视频-动作模型，将世界状态和动作统一在一个隐空间，异步推理优化到 225Hz，做机器人的值得仔细研究。
Mira Murati@miramurati精选AI 评分6565Thinking Machines Lab 的存在是为了通过推进协作式通用智能来赋能人类。 我们正在构建多模态 AI，它能配合你与世界自然互动的方式——通过对话，通过视觉，通过我们协作时那种杂乱无章的方式。我们很兴奋，在未来几个月内我们将能够分享我们的首个产品，它将包含一个重要的开源组件，并对开发自定义模型的研究人员和初创公司有用。很快，我们还将分享我们最好的科学成果，以帮助研究界更好地理解前沿 AI 系统。 为了加速我们的进展，我们很高兴地确认，我们已筹集了 20 亿美元，由 a16z 领投，NVIDIA、Accel、ServiceNow、CISCO、AMD、Jane Street 等与我们使命相同的机构参与。 我们一直在寻找那些通过实践学习、将研究转化为有用之物的非凡人才。我们相信 AI 应当作为个人能动性的延伸，并且本着自由的精神，尽可能广泛而公平地分发。我们希望这一愿景能引起那些与我们同样致力于推动该领域发展的人的共鸣。如果是这样，加入我们。https://thinkingmachines.paperform.co/
推荐理由：Mira 的公司以 2B 融资和开源路线站上了今年 AI 创业的前排，虽然产品还没出来，但这笔钱和阵容本身就说明市场对多模态协作路线的信心。
Google Research 发布 SensorFM，一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型，数据来自 500 万同意参与者，涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征，可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务，支持标签高效适配与数据填充，并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
推荐理由：SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型，35 项任务全面领先，自动调参的代理教室也很有想法，做健康 AI 的人值得细读。
微软发布 Aurora 1.5，对开源 Aurora 地球系统基础模型进行重大扩展，新增 22 个天气变量（原 4 个）、支持小时级时间分辨率和概率集合预报，已在 GitHub 开源并放出的 Hugging Face 模型检查点。
推荐理由：原文来自模型发布方，给出新增变量数、小时级分辨率和与 ECMWF 集合的对比数字，读者可据此评估其在能源等场景的适用性。
蚂蚁灵波开源新一代实时交互世界模型 LingBot-World 2.0（14B 参数），支持施法、攻击、跳跃等丰富角色动作及文本驱动事件（如切换场景、召唤风暴），内置 Pilot Agent 与 Director Agent 实现世界持续演化，并支持多人同时交互。模型采用因果预训练范式和混合双向自回归注意力掩码（MoBA），可稳定输出 720p/60fps 实时画面，长达一小时测试画质不衰减。通过一致性蒸馏与 DMD 降低采样成本，结合注意力 kernel 优化、混合并行推理、动态 KV 缓存调度和异步流媒体传输实现低延迟交互。模型权重及推理代码以非商用协议开源，SGLang 已适配，并提供 Reactor PC 端和灵光 APP 在线体验。
推荐理由：蚂蚁灵波这个开源世界模型把实时世界生成推到了小时级还不崩，720p/60fps实时交互，做开放世界游戏或自动驾驶仿真的团队值得上手测。
Meta Superintelligence Labs 发布 Muse Spark 1.1，定位面向智能体任务的多模态推理模型，在工具与计算机使用、编码、多模态理解上较 Muse Spark 有明显提升，支持 1M token 上下文窗口。
推荐理由：官方博客给出模型在智能体、编码、多模态上的能力细节和百万 token 上下文，并开放 Meta Model API 公测，可对照现有工作流评估。
字节跳动正式发布多模态图像创作模型 Seedream 5.0 Pro。该版本在图文匹配、结构合理性及文字渲染上全面提升，核心突破包括：支持高密度数据与概念的专业排版可视化；基于空间位置理解的交互式精准编辑（如点选、图层分离、多图融合）；还原真实光影与人像质感；以及原生支持十余种语言的输入与本地化特征生成。目前已在火山方舟、豆包及即梦上线体验。
推荐理由：展示了 AI 图像生成从“好看”向“可用”的进阶，特别是其解决复杂信息图表生成和像素级局部编辑的能力，对专业设计工作流有显著价值。
蚂蚁集团旗下具身智能公司Robbyant开源LingBot-Vision，一套自监督视觉Transformer家族，专为密集空间感知设计。旗舰ViT-g/16参数约1.1B，采用掩膜边界建模训练，将边界作为原生预训练信号。在密集空间任务中，该1B模型匹配或超越参数规模高达7倍的大模型（如7B DINOv3）。模型以Apache-2.0许可证在Hugging Face开源，提供ViT-g、ViT-L（300M）、ViT-B（86M）、ViT-S四个规模。
推荐理由：在视觉基础模型里把边界当作核心信号，这个思路很反常识，1B模型在深度估计上超过7B的DINOv3，做机器人的可以认真看看。
NotebookLM@NotebookLM精选AI 评分6767短视频概览功能已正式在移动端和网页端面向所有英语用户全面上线！ 一如既往，您的意见对我们至关重要。请在下方分享您最喜欢的作品，并告诉我们接下来需要添加哪些功能！❤️
推荐理由：NotebookLM 把 Audio Overviews 升级成短视频，谷歌想让笔记工具自己「讲」出内容，思路比功能本身更值得关注，但目前只是锦上添花。
在5个模型上测试了1730道视觉推理题，发现将图像细节降至"low"会损失准确率，且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力（reasoning effort）。
推荐理由：OpenRouter 用 1730 道题的实验告诉你，降图像细节未必省钱，GPT-5.5 上反而更贵，真正靠谱的开关是控制推理努力。做视觉应用的不看这个容易踩坑。
JoyAI App 近日上线 UGC 数字人功能，用户只需上传一张照片即可生成专属虚拟数字分身，支持一键复刻写实形象或通过模板重塑为卡通风格，搭配用户自己的语音即可解锁专属陪伴。该功能复用“万能博士”技术底座，集成 JoyAI 语言、语音、数字人大模型，实现行业领先的全双工对话，支持随时打断、自然接话。数字人兼具情绪陪伴与全能助手属性，可提供点外卖、金融咨询、学英语、规划行程等生活服务。
推荐理由：京东把数字人技术做成了「传一张照片就能捏」的大众玩具，虽然看不出硬核突破，但对普通用户来说，这是第一次零门槛体验有形象有语音的 AI 玩伴，上手即用。
7月3日，生数科技在2026全球数字经济大会上发布Vidu S1实时交互模型，支持实时视频通话和语音控制视频走向，实现无限时长连续互动。模型采用自回归扩散路线，基于已生成画面和语音指令持续预测后续内容；无需传统建模，一张图片即可创建角色并自定义音色。Vidu S1在540P分辨率下实现25FPS（最高42FPS）实时生成，通过TurboDiffusion等技术降低计算成本，已开启内测。
推荐理由：Vidu S1 把视频生成从离线拉到了实时通话级交互，语音控制无限时长是质变，但只有540P，内测阶段实际延迟和稳定性待看，做虚拟陪伴和直播的可以跟。
JoyAI App正式上线UGC数字人功能，用户上传一张照片即可生成高度还原的写实数字分身，或搭配模板重塑为卡通形象，并支持复刻音色。该功能复用“万能博士”技术底座，实现全双工对话能力，可随时打断、自然接话，同时提供点外卖、金融咨询等生活服务。
推荐理由：照片生成数字人并不新鲜，但把全双工对话和京东生活服务（点外卖、金融咨询）集成进一个虚拟玩伴，让陪伴型智能体有了更直接的服务抓手。
强化学习（RL）微调被扩展至视觉语言模型（VLM）。研究发现，简单的文本扰动——误导性标题或错误思维链（CoT）——会显著降低模型鲁棒性和置信度，且开源模型衰退更明显。闭源模型呈现类似失败模式，但鲁棒性和推理一致性更强。进一步分析揭示准确性与忠实性的权衡：微调提升基准准确率，但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性；对抗性增强可改善鲁棒性，却无法阻止忠实性漂移。引入忠实性感知奖励能恢复答案与推理的对齐，但与增强结合时训练易崩溃到捷径策略。这些发现强调需联合关注正确性、鲁棒性与视觉推理的忠实性。
推荐理由：RL微调让VLM基准分变好看，却可能让它的推理链变得靠不住，这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
戛纳国际创意节今年首次设立AI Craft子赛道，两部使用可灵AI生成的广告作品获奖：《L'Ultimo Uomo Reale》拿下Classic单元Film银奖及Craft单元Film Craft铜奖，《Lorem Ipsum》获得Classic单元Film铜奖。
推荐理由：《L’Ultimo Uomo Reale》和《Lorem Ipsum》用可灵完成从人物表演到视觉奇观的全部画面，戛纳金狮的认可使AI视频生成进入商业交付级评价体系，广告公司的「技术已就绪」主张因此有了第三方权威参考。
Google DeepMind 推出 Nano Banana 2 Lite（gemini-3.1-flash-lite-image），为 Nano Banana 系列速度最快、成本最低的图像模型，文本到图像输出仅需 4 秒，每 1K 分辨率图像成本 $0.034，已上线 Google AI Studio、Gemini API 及消费者产品（AI Mode in Search、Gemini app 等）。同时推出 Gemini Omni Flash（gemini-omni-flash-preview），支持高画质视频生成与对话式编辑，视频输出定价 $0.10/秒，面向开发者开放 API。
推荐理由：Nano Banana 2 Lite 把图像生成拉到 4 秒延迟和 0.034 美元单价，很适合高频草稿流，Omni Flash 首次对开发者开放视频生成和对话编辑，两个模型串起来的快速迭代工作流是这次最实用的更新。
Google Research 发布扩展的建筑屋顶反射率数据集，覆盖全球 50 多个城市，旨在帮助城市规划者优先部署冷屋顶方案以缓解极端高温。该数据集融合 Sentinel-2 卫星数据与 30 厘米分辨率的 Airbus Pléiades Neo 卫星图像生成，可通过新的高分辨率 Heat Resilience Earth Engine App 开放获取。相关方法论发表于《Nature Communications》。此前 2024 年的试点已覆盖 14 个城市，其数据曾指导制定冷屋顶条例与适应计划。
推荐理由：谷歌把屋顶反照率数据的精度做到30厘米，覆盖50+城市，还给了免费App，城市防暑从模糊规划变成可量化的工程，做气候韧性的人可以直接拿这个数据做方案，虽然只是特定领域应用，但AI落地真实场景的路径值得参考。
AI at Meta@AIatMeta精选AI 评分7979
推荐理由：Meta把非侵入脑解码从字符级推到语义级，Nature论文背书，我认真觉得这比任何benchmark刷分都有意义，给失语人群的希望比聊天机器人更值得关注。
Meta 发布 Brain2Qwerty v2，一种无需手术植入即可从非侵入性脑记录中实时解码句子的端到端 AI 管线，词准确率达 61%，最佳参与者达 78%，远超其他非侵入方法 8% 的水平。研究基于 9 名志愿者各 10 小时的 MEG 数据训练，Meta 已开源 v1 和 v2 完整训练代码，合作方 BCBL 发布 v1 数据集。
推荐理由：Meta 的 Brain2Qwerty 展示了不用开颅就能把脑电波转成文字，对渐冻症患者和未来人机交互来说是个重要信号，但离产品化还有距离。
Ethan Mollick@emollick精选AI 评分8181其中一段被复原的文字，两千年来首次被读到：“经过研究和学习的极限努力……拥有同样的实践智慧……”
赫库兰尼姆的融合卷轴已被完整读取。 https://scrollprize.org/firstscroll
推荐理由：AI 首次从两千年前的火山灰中读出完整段落，而且内容恰恰是关于「研究与智慧」的，这种巧合本身就值得你点开看一眼。