跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

445 条精选近 30 天 31 条共收录 2,757 条

更新

精选归档 · 第 20 页

2月13日周五第 381–400 条
  1. 字节 Seed:Research Feed

    "思考"更深,生成更准|Seedream 5.0 Lite 发布

    字节跳动发布 Seedream 5.0 Lite 图像生成模型,采用多模态统一架构,跨模态理解与推理能力显著提升,Elo 评分超越前代 4.5 版本。模型首次引入实时检索增强能力,可联网获取最新知识,突破训练数据时间限制。内置丰富世界知识库,在信息可视化、视觉推理、复杂多主体生成等场景表现突出,能根据模糊指令精准修图,支持风格迁移与多步逻辑推理。目前已上线即梦 AI、火山方舟体验中心及豆包内测。

    推荐理由:字节发布 Seedream 5.0 Lite,支持实时检索与深度推理的图像生成模型。

2月12日周四
  1. 字节 Seed:Research Feed

    Seedance 2.0 正式发布

    Seedance 2.0 视频生成模型正式发布,综合性能达业界 SOTA 水平。新版本支持多模态输入,可同时参考 9 张图片、3 段视频、3 段音频及文本指令,精准迁移构图、动作、运镜与音效。模型支持 15 秒高质量多镜头生成,集成双声道立体声技术,并新增视频延长与编辑功能,可定向修改片段、角色及剧情。目前已在即梦 AI、豆包及火山方舟平台上线,适用于影视、广告、电商等工业级内容创作场景。

    推荐理由:字节Seedance 2.0发布,支持多模态输入与物理稳定生成,已上线豆包即梦

2月11日周三
  1. 蚂蚁百灵:Developer Blog83

    感知无界·创造有形:百灵全模态 Ming-flash-omni-2.0 焕新生活想象

    百灵全模态大模型Ming-flash-omni-2.0正式发布。该模型基于MoE架构,在视觉、语音、图像等全模态能力上实现代际跃迁,其核心突破在于一个统一模型同时具备了强大的通用泛化能力和特定模态的专家级表现。具体特色包括:视觉百科能精准识别万物并关联知识;语音生成可控制情绪、方言,提供百种音色,并能统一生成语音、音效与背景音乐;图像创作可实现氛围重构、场景合成与智能擦除。技术层面通过亿级数据细粒度感知、知识对齐及超低帧率音频表征等创新实现性能飞跃。模型已在多个平台开源。

    推荐理由:国产全模态模型开源,多模态能力达领先水准,开发者可直接体验或集成。

2月4日周三
  1. Hugging Face 社区博客73

    H公司新模型Holo2在UI本地化领域取得领先

    H公司在Hugging Face发布博客,正式推出新一代模型Holo2。该模型在用户界面本地化任务上表现突出,实现了技术领先。其核心改进在于显著提升了多语言UI元素的识别与适配能力,能够更精准地处理图标、布局、文本标签等组件的文化适配与翻译。这一进展有望帮助全球应用和软件更高效地实现界面本地化,降低跨区域运营成本。

    推荐理由:UI本地化领域新标杆,开发者可关注其多模态能力。

2月1日周日
  1. OpenMOSS / 复旦NLP / 上海创智 / MOSI62

    MOVA 发布:32B MoE 端到端同步视频-音频生成模型全栈开源

    OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。

    推荐理由:原文给出架构、训练策略和开源范围,读者可以了解端到端音视频生成如何处理同步问题并可复现研究。

1月28日周三
  1. xAI:News

    xAI发布Grok Imagine API

    xAI推出Grok Imagine API,提供文本/图像转视频及高精度编辑功能,支持物体增删、风格转换与原生音频生成。在Artificial Analysis和LMArena基准测试中排名首位,720p视频生成延迟与成本均低于Veo 3和Sora 2;在IVEBench评测中整体表现超越Kling o1与Runway Aleph。API已开放xAI及第三方平台接入。

    推荐理由:xAI发布Grok Imagine视频生成API,性能宣称超越Sora与Veo,支持端到端视频创作工作流

1月27日周二
  1. 公众号:月之暗面61

    Kimi 发布并开源 K2.5 模型,带来全新视觉理解、代码和 Agent 集群能力

    Kimi 发布并开源迄今最智能、最全能的 K2.5 模型,原生多模态架构支持视觉与文本输入、思考与非思考模式,在 Agent、代码、图像、视频及通用智能任务上取得开源 state-of-the-art 表现。

    推荐理由:Kimi K2.5把视觉理解和Agent集群能力打包开源,国内模型里比较早做这个组合的,虽然参数规模争议不小,但对想搭多模态Agent的团队是个可用的起点。

1月5日周一
  1. Liquid AI 模型与工程博客63

    Liquid AI 发布 LFM2.5 端侧模型家族,预训练扩展至 28T tokens

    Liquid AI 发布 LFM2.5-1.2B 模型家族,将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练,覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。

    推荐理由:官方发布给出了完整基准数据和推理速度对比,读者可以据此评估 1B 级端侧模型在指令遵循和部署上的实际水位。

12月17日周三
12月12日周五
12月2日周二
  1. Mistral AI:News82

    Mistral 发布 Mistral 3 系列:Mistral Large 3 与 Ministral 3 全线开源

    Mistral 发布 Mistral 3 模型系列,包含 41B 激活、675B 总参数的稀疏 MoE 模型 Mistral Large 3,以及 3B、8B、14B 三种规模的 Ministral 3 小模型,全部以 Apache 2.0 许可开源。

    推荐理由:原文来自 Mistral 官方发布,给出了模型规格、开源许可、性能定位和部署路径,读者可据此评估不同规模的选用方案。

11月20日周四
  1. Google DeepMind:Blog80

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已在 Google AI Studio 和 Vertex AI 以付费预览形式推出。

    推荐理由:原文给出模型的核心能力细节、可用分辨率与接入方式,开发者可据此判断是否适合替换现有图像生成工作流。

  2. Google DeepMind:Blog

    Google DeepMind 发布 Nano Banana Pro 图像生成模型

    Google DeepMind 发布 Nano Banana Pro 图像生成模型,基于 Gemini 3 Pro 构建,支持多语言可读文本直接渲染,可结合 Google Search 实时信息生成信息图表。该模型支持 14 张图像融合,保持 5 个人物形象一致性,输出 4K 分辨率。现已集成至 Gemini 应用、Google Ads、Google AI Studio 等产品,所有生成内容均嵌入 SynthID 水印以确保透明度。

    推荐理由:Google 发布 Nano Banana Pro 图像生成模型,支持多语言文本渲染与 4K 输出

11月19日周三
  1. Google DeepMind:Blog89

    Google DeepMind 发布 Gemini 3,Gemini 3 Pro 开放预览

    Google DeepMind 发布 Gemini 3 并以 Gemini 3 Pro 预览形式上线,称其在所有主要 AI 基准上显著超越 2.5 Pro,LMArena 达 1501 Elo,HLE 37.5%、GPQA Diamond 91.9%。

    推荐理由:官方发布给出各基准分数与开放范围,读者可以据此比较 Gemini 3 Pro 与 2.5 Pro 的实际能力变化和可用入口。

11月17日周一
10月27日周一
  1. LlamaIndex:产品、工程与评测70

    LlamaIndex 解读 DeepSeek-OCR:视觉压缩如何在文档 AI 中超越传统 OCR

    LlamaIndex 发文解读 DeepSeek-OCR,指出其核心不是 OCR,而是把视觉作为文本信息的压缩算法:可将 1,000 个文本 token 压缩到 100 个视觉 token 并以 97% 准确率解码,10× 压缩下准确率仍高于 90%。

    推荐理由:原文从文档解析实践角度拆解 DeepSeek-OCR 的压缩机制与局限,并给出压缩与解析两条演化路径的比较。

10月26日周日
  1. Google DeepMind:Blog

    MedGemma:健康 AI 开发领域最强的开源多模态模型

    谷歌 MedGemma 系列新增多模态模型,专为健康 AI 开发设计。作为该系列迄今最强的开源版本,新模型具备更强大的医疗场景理解能力,为开发者提供先进的医疗人工智能技术支持,助力构建更精准的健康医疗解决方案。

    推荐理由:DeepMind发布最强开放医疗多模态模型,支持开发者微调构建健康AI应用