跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

451 条精选近 30 天 31 条共收录 2,838 条

更新

精选归档 · 第 2 页

10月7日周三第 21–40 条
  1. Artificial Analysis 完整文章66

    Mistral 发布 Mistral Large 4,Artificial Analysis 评测称其为美中之外最智能模型

    Mistral 发布 Mistral Large 4(Research Public Preview),在 Artificial Analysis Intelligence Index 得分 38,与 GPT-6 Luna(max, 38)相当,为美中之外最智能模型,计划 10 月底开源 1T 参数(49B 激活)权重。

    推荐理由:原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据,读者可据此评估 Mistral Large 4 的真实水平与成本。

  2. Google Developers Blog68

    Google DeepMind 发布多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2,将文本、图像、视频帧和音频映射到统一向量空间,参数量 740M。

    推荐理由:原文给出内存占用、延迟和多种开发入口的具体数据,读者可以据此评估在本地多模态检索场景的落地方式。

10月6日周二
9月30日周三
  1. Cohere 产品与研究博客69

    Cohere 发布 Embed 5 嵌入模型家族,含 Pro 和 Fast 两档

    Cohere 发布 Embed 5 嵌入模型家族,含 Pro 和 Fast 两档,支持文本与图像输入、100+ 语言、128K 上下文,已通过 Cohere API、Microsoft Foundry、Amazon SageMaker 等渠道开放。

    推荐理由:官方给出两个档位的定价、基准成绩和共享嵌入空间设计,读者可以据此权衡检索质量与查询成本的部署方案。

9月29日周二
  1. Microsoft Research 博客61

    Microsoft Research 发布 AI 生物研究系统 Quine,并开放 Quine Fellows 项目申请

    Microsoft Research 推出 Quine,一个包含生物学世界模型和交互式 harness 的 AI 研究系统,可跨基因组、蛋白质、化学、细胞状态和生物成像等模态联合学习并推理干预后果。

    推荐理由:原文给出 PDAC 化合物筛选一个周末完成并经湿实验验证的结果,读者可据此评估 AI 驱动生物发现的实际路径。

  2. World Labs:官网85

    World Labs 宣布加入 AMD,李飞飞将出任 AMD 执行副总裁兼首席科学家

    World Labs 宣布与 AMD 签署最终协议加入 AMD,交易预计于 2026 年底前完成,需监管审批。李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO Lisa Su 汇报;Justin Johnson 与 Ben Mildenhall 将继续带领 World Labs 团队组建前沿研究组织。

    推荐理由:原文说明了双方从GPU合作到收购的演进,以及核心人员的具体去向,读者可判断这次整合对空间智能方向的改变。

9月28日周一
  1. IT之家·人工智能78

    Meta 推出 Hologram 拟真虚拟形象,秋季上线雷朋眼镜与 Quest 头显

    Meta 宣布将于今年秋季在雷朋 Display 智能眼镜、Quest 头显及新轻薄头显上推出“Hologram”功能。该功能利用生成式 AI(实时扩散模型)创建高度拟真的用户虚拟形象,替代传统摄像头画面用于 WhatsApp 视频通话。用户需通过手机 Meta AI 应用采集面部表情和语音数据完成建模。雷朋版基于音频驱动生成 2D 视频流,Quest 版支持 3D 等身立体呈现。目前存在细节粗糙、侧倾变形等技术局限。

    推荐理由:Meta 将生成式 AI 深度整合进主流 XR 硬件的通信场景,标志着虚拟形象从卡通向高保真实时生成的跨越,对 AR/VR 社交体验有重要影响。

9月25日周五
  1. Meta:Newsroom · AI66

    Meta 在 Connect 2026 发布 Muse 上眼镜、VR Glasses 及多款 AI 眼镜新品

    Meta 在 Connect 2026 宣布将个人 AI 智能体 Muse 带入 AI 眼镜,并新增 Walmart、Sephora、GitHub、Instacart 等更多 connectors,Muse 还将拥有自己的邮箱地址。

    推荐理由:原文汇总了 Muse 上眼镜、VR Glasses、新款 AI 眼镜及听力辅助等多项发布细节,可了解 Meta 硬件与个人智能体的落地节奏。

9月24日周四
9月23日周三
  1. Meta:Newsroom · AI76

    Meta 在 Connect 发布 Ray-Ban Meta Audio 音频眼镜并扩充 Ray-Ban Meta (Gen 3) 等 AI 眼镜产品线

    Meta 在 Connect 上发布首款音频眼镜 Ray-Ban Meta Audio,重 43 克,预售价 349 美元起,10 月 13 日发货,单次充电可用 12 小时。

    推荐理由:官方在 Connect 上同时扩充多价位与多款式 AI 眼镜产品线,给出了各款定价、续航和新市场名单,方便对照选购与产品节奏。

  2. Meta AI:Research Blog70

    Meta 发布 Muse Realtime Avatar,将实时语音转化为可交互的动态化身

    Meta 发布 Muse Realtime Avatar,将 Muse Realtime Voice 的语音流实时转化为带表情、手势和全身动作的交互化身,可基于参考图像驱动人像、插画、动物或日常物品。

    推荐理由:原文给出了蒸馏方案、延迟数字和与商业系统的对比结果,读者可以据此评估其实时化身生成的技术路线和落地水平。

9月22日周二
9月18日周五
  1. Qwen:Blog Retrieval69

    Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒

    Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。

    推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。

  2. Qwen:Blog Retrieval78

    Qwen 发布原生全模态模型 Qwen3.8-Omni-Flash,主打音视频智能体任务交付

    Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。

    推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。

9月16日周三
  1. 蚂蚁 inclusionAI:GitHub 新仓库63

    蚂蚁 inclusionAI 开源 Realtime-Venus 全双工交互系统

    蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。

    推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。

  2. OpenRouter:Announcements73

    DeepSeek V4 哪些型号支持图像输入?OpenRouter 逐款梳理与调用指南

    OpenRouter 梳理其目录中的 DeepSeek V4 系列图像输入支持情况:V4.1 Flash 原生读图(2026年9月10日上线,$0.15/$0.60 每百万 token)。

    推荐理由:原文逐一列出 DeepSeek V4 各型号是否支持图像输入、价格和调用方式,并给出文本-only 型号配视觉模型的两段式替代方案。

  3. Google Blog:AI63

    Google 发布 TranslateGemma 等多语言 AI 成果,语言技术覆盖 300 多种语言

    Google 宣布其语言技术已支持超过 300 种语言、覆盖全球 86% 人口,并发布 TranslateGemma 轻量开源翻译模型(基于 Gemini 训练、支持 55 种语言、可离线运行)。

    推荐理由:原文来自 Google 对其语言技术的系统性梳理,读者可以借此了解其多语言 AI 的技术路线和数据合作方式。