跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

451 条精选近 30 天 30 条共收录 2,843 条

更新

多模态的精选

10月24日周六第 1–20 条
  1. 公众号:数字生命卡兹克78

    Kimi 发布开源旗舰模型 K3.1 Pro:2.8T 参数、100万 Token 上下文,实测 3D 与视频动效

    月之暗面发布旗舰模型 Kimi K3.1 Pro,参数 2.8T,支持 100 万 Token 上下文,完整模型权重预计 11 月 4 日前开放。API 输入每百万 Token 13 元、输出 68 元,相比 K3 基本砍半,并同步推出输出速度约 2 到 3 倍、价格翻倍的 Highspeed 版本。

    推荐理由:作者实测视觉、3D 与视频动效方向,结合官方跑分和价格对比,能帮读者判断 Kimi K3.1 Pro 是否值得上手。

  2. OpenRouter77

    OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线,定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens,可在 OpenRouter 直接试用。

    引用Kimi.ai@Kimi_Moonshot

    隆重推出 Kimi K3.1 Pro:我们能力最强的 3T 级开放权重模型。 🔹 1M token 上下文,2.8T 总参数 / 104B 激活参数(MoE),多模态。 🔹 全项目级编程:可在 Unreal、Unity 和 Godot 中开发游戏。 🔹 擅长在 Blender 和 CAD 中进行参数化 3D 建模。 🔹 在金融工作上更可靠:建模准确,幻觉降低 65%。 🔹 在编程、智能体和知识基准测试中,与最强的闭源模型不相上下。 Kimi K3.1 Pro 和 K3.1 Pro Highspeed(快 2–3 倍)现已在 http://Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上线。 开放权重将于 2026 年 11 月 4 日发布。 🔗 API:http://platform.kimi.ai 🔗 技术博客:http://kimi.ai/blog/kimi-k3-1-pro

    推荐理由:OpenRouter 上架页直接给出上下文长度、定价和试用链接,读者可以据此评估这个开源权重模型的使用成本。

  3. Moonshot AI:Kimi Blog81

    月之暗面发布 Kimi K3.1 Pro,100 万 token 上下文,开放权重将于 11 月 4 日前释出

    月之暗面发布 Kimi K3.1 系列首个模型 Kimi K3.1 Pro,为 3T 级开放权重模型,上下文窗口 100 万 token,并同步推出速度快 2-3 倍的 Kimi K3.1 Pro Highspeed。

    推荐理由:官方公布了关键基准成绩、开放权重时间表和网络安全数据清理做法,读者可据此评估这代开放权重模型的实际能力边界。

10月23日周五
  1. 禾赛科技71

    禾赛发布三维世界数据引擎 Kosmo 及 8K AI 空间相机 Kosmo One

    10 月 14 日,禾赛科技正式发布三维世界数据引擎 Kosmo,同步推出集成 8K 影像系统的 AI 空间相机 Kosmo One 和云平台 Kosmo World,瞄准具身智能与世界模型的真实世界数据需求。

    推荐理由:原文给出扫描效率、建模成本与机器人训练成功率的对比数据,可帮助读者评估真实世界三维数据在具身智能中的实际作用。

10月22日周四
10月16日周五
  1. LMSYS Blog64

    SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持

    SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open(816B 参数、约 42B 激活、1M token 上下文)提供 Day-0 推理支持,权重提供 NVFP4 和 BF16 两种格式。

    推荐理由:原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据,读者可以据此评估大规模部署该模型的可行路径。

  2. PyTorch:Blog83

    Meta 发布开源权重模型 Muse Spark Open,816B 参数、1M 上下文

    Meta 发布开源权重模型 Muse Spark Open,已在 Hugging Face 以 Muse Model License 提供。模型总参数 816B、激活 42B,上下文窗口 1M token,面向编码与智能体工作流,原生多模态(图像、音频、文档),并相比 8 月发布的 Muse Spark 增加了安全后训练。

    推荐理由:Meta 开放了 Muse Spark 的权重,并给出 Helion 内核与 TorchTitan 微调支持,读者可据此评估其部署与定制路径。

  3. Microsoft AI:官方博客66

    Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

    Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。

    推荐理由:官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。

10月15日周四
  1. NVIDIA Blog71

    NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型

    NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。

    推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。

10月14日周三
10月13日周二
  1. Apple:Newsroom60

    Apple 发布 7 英寸智能音箱 HomeView,售价 299 美元并搭载 Siri AI

    Apple 发布配备 7 英寸 Liquid Retina 显示屏的 HomeView,集娱乐、FaceTime、家庭监控和语音自动化于一体,标准版与壁挂版均定价 299 美元,11 月 13 日起在美英加澳等市场发售。

    推荐理由:官方通稿完整给出了定价、上市时间和 Siri AI 能力边界,还说明了欧盟不发售的原因。

  2. 公众号:面壁智能68

    面壁智能开源 MiniCPM-V 4.7,35B-A3B MoE 模型 3GB 内存端侧流畅运行

    面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本,称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。

    推荐理由:原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节,读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。

  3. Demis Hassabis65

    Google 与 BIDMC 合作的 AMIE 患者对话式诊断前瞻性研究在 TheLancet 发表,是 AMIE 首次在真实诊所外测试。临床医生报告称 AMIE 的病史摘要在 75% 的病例中有助于访视准备,其鉴别诊断与医生最终诊断的吻合率达 90%,这也是 Google 首篇登上 The Lancet 主刊的论文。

    引用Sundar Pichai@sundarpichai

    今天,@TheLancet 发表了我们的 AMIE 研究,与 @BIDMC_Medicine 合作完成,这是首个在真实诊所中面向患者的对话式诊断的前瞻性研究。 AMIE 是一个研究系统,人们可以在就诊前与之聊天。在实验室之外,用真实的急诊护理患者测试 AMIE,展示了技术如何帮助安全地收集病史。临床医生报告称,在 75% 的病例中,这些摘要帮助他们为就诊做准备,并在超过一半的病例中影响了他们的诊疗方式。AMIE 的鉴别诊断也在 90% 的情况下与医生的最终诊断一致,让临床医生有更多时间专注于患者护理。 这是 Google 有史以来第一篇发表在 The Lancet 主刊上的论文!

    推荐理由:这是 Google 首篇登上 The Lancet 主刊的 AMIE 研究,作者引用了关键数字,可帮助读者了解对话式诊断在真实门诊的表现。

  4. Artificial Analysis 完整文章76

    Meta 发布 Muse Wonder 和 Muse Wonder Full,Artificial Analysis 实测智能水平较前代显著提升

    Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型,在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分(max reasoning effort)。

    推荐理由:Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本,读者可据此对比它们在同类模型中的位置。

10月8日周四
  1. Aravind Srinivas65

    Perplexity 开源 pplx-embed-v2-late,两个针对文本和图像的 late-interaction 多向量嵌入模型,大小为 9B 和 0.6B,共享同一嵌入空间,权重已在 Hugging Face 提供。9B 可用于索引多模态数据,0.6B 可在设备端查询,无需 OCR 即可检索 PDF 页面;模型在 MADQA 得分 92.4%,BrowseComp+ 得分 64%。

    引用Perplexity@perplexity_ai

    我们发布 pplx-embed-v2-late,两个后期交互嵌入模型,通过共享嵌入空间检索文本、图像和页面,实现跨模态查询。 两个模型均达到前沿性能,并已在 Hugging Face 上公开可用。 https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector

    推荐理由:原文给出两个规模的嵌入模型、共享空间用法和基准分数,读者可据此评估多模态检索与端侧查询的可行方案。

10月7日周三