跳到正文
#多模态
5月17日周日
  1. IT之家·人工智能58

    AMD 游戏引擎专利曝光：画个草图 AI 就能帮你做游戏

    AMD一项名为“基于人工智能的游戏与渲染引擎”的专利曝光，计划推出一款完全依托AI打造的游戏引擎。该引擎旨在通过神经外推、智能超采样等技术，在生成逼真游戏画面的同时大幅降低算力消耗。其核心特点是允许开发者仅绘制简易草图轮廓，AI便能据此从零生成精细的游戏画面与内容，可承接传统游戏引擎的各类运算处理工作。目前该技术具体开放时间未定，但展现了AI颠覆游戏开发流程的潜力。

  2. The Decoder：AI News69

    Oppo 开源 Android AI 代理 X-OmniClaw，无需离开手机即可调用摄像头、屏幕与语音

    Oppo 的 Multi-X 团队发布了开源 AI 代理 X-OmniClaw，该代理可直接在 Android 设备上运行。它整合摄像头、屏幕和语音输入，在真实应用程序中实时处理任务。系统主要依赖本地传感器执行操作，仅将推理任务交由云端计算。用户的操作路径可被克隆为可复用技能，代理下次能通过深度链接直接跳转到应用深层页面，无需重复操作。

5月16日周六
  1. IT之家·人工智能62

    刘伟：米哈游在 AI 方面投入规模“3 年最多 1000 亿”，如果没成算放一个大烟花

    米哈游创始人刘伟透露，公司计划在未来三年内投入最多1000亿元用于AI基础大模型研发，并称即使失败也当作“放一个大烟花”。他强调，坚定投入算力与规模是打造顶级模型的必要条件。刘伟认为，AI将推动游戏体验走向“完全个性化”，实现“千人千面”，即游戏能实时生成定制内容，为每位玩家提供独特体验。他预计三年内此类游戏将出现，米哈游正朝此方向探索。

  3. Google DeepMind：Blog75

    Gemini 3.5：具备行动能力的前沿智能

    Google发布了Gemini 3.5模型，该模型专注于提升执行复杂任务的能力。其核心特点是支持“代理式工作流”，即能够像助手一样自主规划并执行一系列多步骤、复杂的操作，旨在将先进的语言理解与实际问题解决能力相结合。

    推荐理由：Gemini 3.5 Flash 把前沿级智能体和编程能力塞进了极低延迟和成本，四倍于竞品速度的同时基准表现超过 3.1 Pro，这可能是今年对开发者最实用的基座模型之一。

  4. DogeDesigner69

    Grok 现已支持直接连接至开源、自我提升的个人代理 Hermes Agent。所有 Grok 订阅用户均可立即使用 Grok 4.3 进行高级推理与对话，享受 Grok Text-to-Speech 提供的自然语音响应，以及通过 Grok Imagine 在代理内生成图像和视频。用户只需通过 Grok OAuth 登录即可启用，无需复杂设置。这标志着向真正个性化、持续在线、能记忆用户并代表用户行事的 AI 代理迈出了关键一步。更多开源代理集成即将推出。

5月15日周五
  1. Kling AI61

    2026年戛纳电影节Kling AI大会将汇聚三位世界级电影制作人，展示他们运用Kling AI技术创作的标杆作品。中国动画导演魏立将分享AI生成动画《Born of the Tide》；Jon Erwin将解析为Amazon Prime制作的剧集《House of David》；Eekjun Yang则将介绍院线电影《RAPHAEL》的创作过程。三位讲者将深入探讨Kling AI在电影制作中的幕后应用，共同探索AI为影视创作带来的新可能性。活动定于2026年5月18日15:30至17:30，在戛纳影节宫主舞台举行。

  2. IT之家·人工智能50

    光帆科技旗下“行业首款带摄像头 AI 耳机”正式发布，首发价 1799 元起

    光帆科技发布行业首款搭载摄像头的AI耳机——光帆全感AI耳机。该产品单耳重11克，采用开放式耳挂设计，双侧配备200万像素双目摄像头，可实时识别环境并提供主动智能服务。其耳机盒集成指纹解锁与4G eSIM模块，支持脱离手机独立使用。续航方面，耳机通话可达9小时，音乐播放15小时，配合充电盒总续航至高90小时。产品提供多种套装，耳机本体首发价1799元起。

  4. IT之家·人工智能53

    华为 896 线激光雷达太贵！余承东曾想挑战用摄像头实现小物体识别避障功能，但因后者能力有限放弃

    在鸿蒙智行智界V9发布会上，华为展示了乾崑896线双光路图像级激光雷达。这是全球量产线束规格最高的激光雷达，单帧点云量是128线雷达的7倍，使车辆感知迈入“图像级”。它能精准识别路面石块等异形障碍物并主动避让，对14厘米高度物体的远距离识别、低反射率目标识别距离提升190%，异型障碍物识别距离提升77%。余承东坦言该雷达成本高昂，曾考虑仅用摄像头实现类似功能，但发现摄像头能力有限，无法及早识别小物体。华为的目标是超越人类驾驶员的安全水平。

  5. IT之家·人工智能49

    余承东官宣鸿蒙智行旗舰 MPV 智界 V9 首批升级华为乾崑智驾 ADS 5，全系标配 38 个传感器

    在鸿蒙智行首款旗舰 MPV 智界 V9 发布会上，华为余承东宣布该车型将首批升级华为乾崑智驾 ADS 5。智界 V9 全系标配 38 个传感器，可智能判断道路场景并自主操作，支持 60 EFLOPS 云端 AI 算力、WEWA 2.0 架构和 6 重冗余系统。自 4 月 22 日预售以来，车辆小定量已突破 40000 台，共推出四款配置，价格区间为 39.98 万至 52.98 万元。

  6. IT之家·人工智能59

    中国信通院启动人工智能终端智能化分级测试工作，涉及手机、电脑、眼镜、电视、汽车座舱等

    中国信通院近日启动首轮人工智能终端智能化分级标准符合性检测，测试时间为2026年5月13日至6月30日。该测试依据新发布的《人工智能终端智能化分级》国家标准，该标准将终端智能化水平划分为L1至L4四个等级，智能化依次提高。测试覆盖手机、电脑、电视、眼镜、汽车座舱、音箱和耳机等七类产品。标准采用“2+N”架构，由小米、华为等企业参与起草，旨在推动人工智能终端生态安全有序发展。

  7. 蚂蚁 inclusionAI：HuggingFace 新模型56

    蚂蚁集团提出 ARGenSeg-8B：基于自回归图像生成模型的图像分割框架

    蚂蚁集团推出 ARGenSeg-8B，一种将多模态理解与像素级感知统一的自回归图像生成分割框架。它利用多模态大语言模型（MLLM）输出视觉 token，并通过通用 VQ-VAE 解码为分割掩码，使分割完全依赖 MLLM 的像素级理解。采用 next-scale-prediction 策略并行生成视觉 token，降低推理延迟。在多个分割数据集上超越此前最优方法，推理速度显著提升。论文已被 NeurIPS 2025 接收，模型已发布在 HuggingFace。

    推荐理由：蚂蚁提出用自回归生成做分割，把理解和像素级感知统一到一个框架里，多个数据集SOTA且速度更快，做CV的值得看看。

  8. SenseTime70

    主推文赞扬了创新者在前沿领域的探索。引用的推文具体指出，SenseNova-U1在空间智能能力上取得进展，其关键基准测试表现超越了Qwen3.5等强劲基线。同时，团队开源了目前最大的空间问答数据集SenseNova-SI-8M，并邀请业界在CVPR会议进行线下交流。

    引用Zhongang Cai@caizhongang

    很高兴为 SenseNova-U1 的空间智能能力做出了贡献，在 VSI-Bench 等关键基准上超越了 Qwen3.5 等强劲基线。 我们也很激动地开源了 SenseNova-SI-8M，这是目前最大的空间问答数据集。 今年六月 CVPR 见，很乐意当面交流！ SenseNova-SI-8M: huggingface.co/datasets/sense…

    推荐理由：商汤的 SenseNova-U1 在空间智能基准上压过 Qwen3.5，还顺手开源了目前最大的空间 QA 数据集 SenseNova-SI-8M，搞具身智能和多模态的可以直接抱走数据。

  9. IT之家·人工智能43

    AI 音乐应用 Suno 上线苹果 CarPlay，丰富你的驾车听歌体验

    本周，AI音乐生成应用Suno与聚合电台应用Zeno Radio正式登陆苹果CarPlay平台。Suno允许用户通过文字提示生成完整音乐，其CarPlay界面分为“资料库”和“探索”两部分，便于播放个人作品及社区内容。Zeno Radio则聚合了传统电台与播客，涵盖音乐、新闻、儿童节目等多种分类。这两款新应用标志着CarPlay第三方生态持续扩展，为驾驶场景提供了更丰富的音频创作与收听选择。

5月14日周四
  2. IT之家·人工智能41

    不联网也能 AI 调色照片，OPPO 发布行业首个端侧 AIGC 光影处理引擎

    在联发科天玑开发者大会 MDDC 2026 上，OPPO 发布了行业首个端侧 AIGC 光影处理引擎。该引擎基于自研 DiT 架构生成式大模型，用户无需联网即可在手机本地优化暗光、逆光等复杂光线下的照片，还原自然光影，效果接近云端模型水平。大会同期还展示了多项端侧 AI 技术：AI 翻译出词速率达每秒 300 个词元；端侧全模态 Omni 模型支持视频、语音、文本多模态输入与实时交互；手机超级助手“小布 Claw”能基于本地数据提供个性化 AI 内容生成与建议，确保数据隐私安全。

  3. The Decoder：AI News64

    Microsoft 的 Edge Copilot 现可一次性读取所有打开的标签页，并为你撰写 LinkedIn 内容

    微软升级了 Edge 浏览器的 Copilot AI 助手，新增多项功能。Copilot 现在能一次性读取所有已打开的浏览器标签页内容，并基于这些信息进行产品比较或文章总结。此次更新还引入了长期记忆能力、将标签页内容转换为 AI 播客的工具，以及问答测验模式。这些增强功能旨在提升用户在多任务浏览和信息处理时的效率，并拓展了在 LinkedIn 等平台的内容创作辅助场景。

  4. PixVerse52

    PixVerse V6 的发布旨在让AI生成视频中的动态、音效、镜头行为与物理冲击感高度统一，使其如同存在于同一个真实的物理世界。该版本引入了原生音频、定向电影摄影技术和逼真的物理模拟，显著提升了动作、冲击、镜头行为与环境反应的拟真度与沉浸感。这一进展正开始模糊AI生成内容与真实电影摄影之间的界限，将AI动作场景的生成质量推向了全新的层级。

    引用Gilbert Odera | Your AI Plug🇰🇪@yourPlugAI

    PixVerse V6 is starting to blur the line between AI generation and real cinematography. Native Audio. Directional Cinematography. True-to-life physics. The movement, impact, camera behavior and environmental reactions feel far more grounded now. This latest release by @PixVerse_ is pushing AI action scenes into a completely different tier. Prompts👇🏾

  6. CMU：Machine Learning Blog63

    教视觉-语言模型说“电影语言”

    研究团队与百余名专业创作者历时一年，构建了一个视频描述生成流程，其核心在于扩展精细化的人类-AI协同监督，而非单纯扩大模型规模。该研究（入选CVPR 2026亮点论文）指出，当前主流视频生成模型在理解和生成具有电影感的专业运镜（如希区柯克式滑动变焦、精确的焦点转移或荷兰角镜头）时存在明显不足，常产出通用或焦点错误的画面。这项工作揭示了一条通过提升监督质量来增强模型“电影语言”表达能力的新路径。

    推荐理由：这篇CVPR 2026 Highlight的博客版很有意思，它用100多个专业电影人来标注视频，教VLM学会推拉摇移的镜头语言，不是又多一个数据集，而是提醒我们：高质量的人工标注可能比堆模型更重要。

  7. IT之家·人工智能67

    雷军谈小米自动驾驶模型 Xiaomi OneVL：业内率先通过潜空间推理将 VLA、世界模型统一到一套框架

    小米技术正式发布并开源一步式潜空间语言视觉推理框架Xiaomi OneVL。该框架在业内率先通过潜空间推理，将视觉语言动作模型与世界模型统一到同一套框架中。在推理、规划等多个主流基准上，该模型全面刷新了潜在推理方法的性能上限，在精度上超越显式思维链方案，在速度上对齐“仅答案”预测的潜空间思维链方案。小米已全面开源其模型权重及训练、推理代码。

  8. Together AI 研究与产品博客65

    Together AI 开源视频翻译工具 Violin，集成 Whisper、DeepSeek V4 Pro 与 Sonic 3

    Together AI 发布全开源视频翻译工具 Violin，代码以 MIT 许可证开放在 github.com/shang-zhu/violin。流程分三步，用 Together 的 Whisper V3 做多语言转写，DeepSeek V4 Pro 做翻译，Together 托管的 Cartesia Sonic 3 合成多种母语语音，且不支持声音克隆。

    推荐理由：原文完整给出了 ASR、LLM 翻译、TTS 三段流水线所用模型和 MIT 开源仓库入口，读者可以照着部署或改造成自己的翻译流程。

  10. Runway：News76

    Introducing Runway Agent

    Runway正式发布Runway Agent，这是一个能够通过单次对话将创意想法转化为完整、可发布视频的智能创作伙伴。用户只需用自然语言描述需求，Agent便能根据上下文和目标，自主完成概念提案、故事节奏设计、视觉方向规划，并最终生成包含多场景、旁白、对话和音乐的成片。它旨在为品牌团队、营销人员、创意机构和电影制作人快速生产各类视频内容，如品牌宣传、社交媒体素材和短片，将传统需要数天或数周的审核制作周期压缩至几分钟。该产品现已上线，新免费计划用户可获得1500积分用于制作首个视频。

    推荐理由：Runway Agent 把视频生产从“一个团队干一周”变成“一个人聊十分钟”，品牌和内容团队的视频成本结构可能就此改写。

5月13日周三
  1. IT之家·人工智能50

    谷歌 Gboard 输入法新增 Gemini 驱动听写功能，可识别一句话中的多种语言

    谷歌在Android活动中为Gboard输入法推出由Gemini驱动的AI语音听写功能Rambler。它能自动删除“呃”“啊”等填充词，并理解即时修正。其核心亮点是支持“代码切换”，可在同一句话中无缝识别多种语言且保持上下文连贯。谷歌强调，该功能不存储语音录音，结合设备端与云端处理以保障隐私。Rambler初期将于夏季在三星Galaxy和谷歌Pixel手机上推出，未来将扩展至更多Android设备。

  2. IT之家·人工智能61

    大版本来袭：第一代小米 SU7 汽车 OTA 1.16 开推，新增语音控车、疲劳分心下应急停车辅助功能等

    小米汽车开始向第一代SU7推送OTA 1.16大版本更新，旨在对齐新款车型的功能体验。本次更新重点升级了辅助驾驶与智能座舱：辅助驾驶新增语音控车、收费站通行辅助、侧向避让辅助及针对异形障碍物的前向防碰撞辅助等功能；特别增加了疲劳分心下的应急停车辅助，触发后将自动减速停车并禁用辅助驾驶30分钟。智能座舱方面，超级小爱新增“小爱陪伴”和“AI智控”功能。此外，还引入了车主管理模式。多数新功能仅支持SU7 Pro和Max车型。

  3. IT之家·人工智能69

    小米开源 Xiaomi OneVL 自动驾驶模型，业内率先实现 VLA、世界模型等多技术路线统一

    小米开源了Xiaomi OneVL一步式潜空间语言视觉推理框架。该模型在业内首次将VLA（视觉语言动作模型）与世界模型这两条技术路线统一于同一框架，通过潜空间推理同时提升推理速度与精度，在多项基准测试中达到先进水平。此外，它还能为决策提供语言和视觉双维度的可解释性。小米已全面开源其模型权重、训练及推理代码。

  4. IT之家·人工智能41

    搭载 Android XR 系统，消息称三星 Galaxy 智能眼镜将于 7 月发布

    据韩媒报道，三星或将于2026年7月22日在伦敦的Galaxy Unpacked发布会上推出其首款智能眼镜。该产品旨在对标Meta Ray-Ban，研发已超一年，将推出两个版本：一款配备类似XREAL的内置显示屏，另一款则无AR显示屏。两者均采用墨镜式设计，集成摄像头、扬声器和麦克风，并有望成为首款出厂预装Android XR系统的智能眼镜。更多细节与售价预计在临近发布时公布。

  6. IT之家·人工智能61

    谷歌安卓桌面版重构鼠标光标交互，让 AI 听懂“这个 / 那个”比划

    谷歌DeepMind发布了名为Magic Pointer的AI光标交互功能，旨在重构桌面端安卓系统的鼠标使用体验。其核心理念是让AI无缝融入用户当前工作流，通过识别光标位置和语音指令理解上下文，无需复制内容或输入完整提示词。该功能遵循四项原则：保持工作连续性、支持“边指边说”交互、理解“这个/那个”等自然指代、将屏幕像素转化为可操作实体。目前，谷歌已在AI Studio上线演示，并正将相关能力逐步集成至Chrome浏览器的Gemini中。

  7. SenseTime72

    SenseNova-U1 技术报告详尽披露了构建前沿原生多模态模型的方法，核心包括原生多模态统一建模、无损视觉接口、联合自回归与像素空间流匹配训练、以及原生混合专家骨干网络。报告提供了六阶段训练方案、强化学习后训练与蒸馏的完整实践指南。其开源版本 SenseNova-U1-A3B-MoT 基于混合专家架构，仅激活30亿参数，实现了高效快速的性能。相关资源已全面开放，涵盖技术报告、模型权重、代码和演示平台。

    推荐理由：商汤把原生多模态模型的训练细节全公开了，无视觉编码器、原生MoE架构，还开源了38B-A3B权重，做多模态模型的可以直接照着技术报告复现。

  8. IT之家·人工智能60

    面壁智能 MiniCPM-V 4.6 发布开源：1.3B 参数仅需 6G 内存即可流畅运行

    面壁智能联合清华大学及 OpenBMB 开源社区发布新一代端侧多模态大模型 MiniCPM-V 4.6。该模型参数为 1.3B，仅需约 6GB 内存即可在端侧设备运行。其在通用图文理解、STEM 推理等任务上超越同尺寸模型，Artificial Analysis 评测得 13 分。效率方面，Token 吞吐量为竞品的 1.5 倍，计算消耗仅为其 2.5%。模型采用 LLaVA-UHD v4 架构，图像编码计算量降低 55.8%，并支持高分辨率图像快速处理。目前已全面开源，提供完整工具链，适配主流微调与推理框架。

  9. IT之家·人工智能60

    88.45% 登顶 CyberGym：微软纳德拉官宣 MDASH 框架，协调 100+ 模型 AI 抓虫 Win11

    微软CEO纳德拉宣布，其AI安全框架MDASH在5月补丁星期二中，协助发现了Windows 11系统120个已修复漏洞中的16个。MDASH是一个协调超过100个专用智能体的多模型扫描框架，采用对抗式流程以减少误报。该系统在私有驱动测试中实现零误报；在历史漏洞回溯中对特定组件召回率高达96%和100%；并在CyberGym公共基准测试中以88.45%的成绩领先。发现的漏洞涵盖多个关键组件，其中10个为内核态漏洞，包括严重的远程未授权释放后使用等问题。

  10. IT之家·人工智能55

    全球合作中头部车企 20+：联发科天玑汽车平台产品出货量突破 3500 万，过去 5 年成长超 385%

    联发科技在2026天玑开发者大会上宣布，天玑汽车平台出货量已突破3500万，过去五年增长超过385%。该平台与全球超过20家头部车企合作，进行中的定点项目超190个。AI定义汽车时代已来临，天玑AIDV智能体座舱支持全模态交互、主动式服务、并发任务执行和端云协同，赋能智能汽车体验创新。

  11. Demis Hassabis81

    团队正在用AI重新构想鼠标指针，成果非常酷！在@GoogleAIStudio尝试原型版本，体验相当神奇。 [引用 @GoogleDeepMind]：我们正用AI重新构想这个存在50年的界面——鼠标指针。🖱️ 这些实验演示展示了人们如何通过动作、语音和自然简写，在屏幕上直观操控Gemini完成任务🧵

    引用Google DeepMind@GoogleDeepMind

    我们正在用 AI 重新构想一个已有 50 年历史的界面——鼠标指针。🖱️ 这些实验性演示展示了人们如何通过动作、语音和自然简写，在屏幕上直观地指挥 Gemini 完成任务 🧵

    推荐理由：用了50年的鼠标指针第一次被AI改造，这个原型让你在屏幕上随手画圈、说话、打缩写就能控制Gemini，产品经理和设计师都该去玩一下。

  12. StepFun72

    Step Image Edit 2模型正式发布。这是一个35亿参数的图像模型，在指令式图像编辑的权威基准KRIS-Bench中，于综合、事实和概念类别均排名第一，性能超越参数量为其5-6倍的模型。其核心能力包括文生图、基于指令的图像编辑、精准的中英双语文字渲染以及保持主体一致性的风格迁移。该模型生成速度快，单次编辑成本低，目前已上线Stepfun开放平台。

  14. OpenRouter69

    Perceptron Mk1已在OpenRouter上线，由@perceptroninc开发。 前沿视频与具身推理的视觉语言模型。以动态帧率（最高2 FPS）分析视频，具备32k多模态上下文，采用混合推理和结构化空间基元（点、框、多边形、片段）作为首要输出。

    推荐理由：将视频理解提升到结构化空间输出，动态帧率分析让模型能真正「看懂」动作，做具身智能的开发者可以关注。

最多提供 50 页，更早的内容请使用搜索或主题页。