推荐理由:联合训练的统一架构下,视频生成与图像、音频共享基础能力,跨模态创作的结果可能更连贯,改变了单独优化各模态的传统思路。
技术方向
多模态 最新动态
文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
445 条精选近 30 天 30 条共收录 2,757 条
精选归档 · 第 5 页
OpenRouter@OpenRouter精选AI 评分6666
SenseTime@SenseTime_AI精选AI 评分6767推荐理由:把推理和图像生成整合进单一模型流,信息图模式和逐步教程展示了从推理到可视化的直接路径,为需要图文连贯输出的应用提供了可探索的开源方案。
LlamaIndex:产品、工程与评测精选AI 评分6666 LlamaIndex:文档 OCR 不会被前沿模型商品化,LlamaParse Agentic 以 84.9% 领先
LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点,称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench(约 2,000 个人工核验的企业页面、167,000+ 条测试规则)显示,GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍,最新最贵模型仍比专用前沿低 20 分。
推荐理由:文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化,并给出路由、蒸馏、文本层复用等可迁移的工程方法。
Mistral AI:News精选AI 评分6363 Mistral 开源 3B 多模态安全分类器 Shieldstral,支持推理时自定义政策无需重训
Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral,以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务,推理时用自然语言问题传入政策即可返回校准的安全分数,无需重训练,统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。
推荐理由:原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现,适合想自建安全审核方案的开发者参考。
Greg Brockman@gdb精选AI 评分6666引用OpenAI@OpenAIGPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然,我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动,因此更深入的推理和工具调用不会打断对话。
推荐理由:在 GPT-Live 架构下推理与工具调用期间音频流不间断,语音交互的等待感和打断感被显著消除,适用于需要持续对话的陪伴和协作场景。
SenseTime@SenseTime_AI精选AI 评分6868商汤推出 SenseNova U1.5-Lite-Preview,一个基于 NEO-Unify 架构的轻量级原生统一多模态模型,仅 8B-MoT 参数即可达到商业闭源模型的生成与编辑质量。
推荐理由:8B 参数的小模型在生成和编辑上接近闭源水平,有望降低轻量化多模态应用的门槛,但预览版功能可能尚不完整。
Kimi.ai@Kimi_Moonshot精选AI 评分7070
推荐理由:教程展示了如何用 Kimi Slides 一站式完成幻灯片的结构、设计和下载,对需要快速产出演示文档的 Kimi 用户有直接可用性,但完整效果仍取决于实际模板和内容质量。
公众号:MiniMax精选AI 评分7575 MiniMax H3 正式开源:通用全模态生成系统支持 2K 视频与原生立体声
MiniMax 正式开源新一代通用视频模型 H3,可统一理解文本、图像、视频和音频,生成最高 2K 分辨率、最长 15 秒、带 32 kHz 原生立体声音频的视频。
推荐理由:与多数开源视频模型不同,H3 原生支持同步生成立体声音频,且通过上下文再生成实现 2K 分辨率,为音视频生成应用提供了更完整的开源基座。
Qwen:Blog Retrieval精选AI 评分8989 Qwen3.8-Max 发布:开源最强编码与协作模型,2.4T 参数
Qwen 正式发布 Qwen3.8-Max,这是 Qwen 家族迄今最强的模型,拥有 2.4T 参数(95B 激活),并首次开源 Qwen-Max 级权重,开放权重将于下周发布。
推荐理由:首次将 Max 级模型权重开源,为开源社区提供比肩闭源旗舰的能力,但实际效果需待下周权重放出后由社区验证。
Elon Musk@elonmusk精选AI 评分7272Grok 可以分析任何视频 https://grok.com/share/bGVnYWN5_8013f7a3-f604-4351-8cd7-acecf3ef165b
推荐理由:Grok 的视频分析功能将多模态交互扩展到动态内容,对快速理解视频素材有直接帮助,不过演示链接未展示长视频或复杂场景下的表现,实际适用范围待验证。
公众号:百度智能云精选AI 评分6666 百度搭子一镜Skill:一句话生成数字人口播视频
百度搭子内置的一镜Skill支持仅凭一句话或一个主题,自动完成脚本生成、声音、数字人形象、口型驱动和视频渲染,生成可直接播放的数字人口播视频,全程无需拍摄、剪辑和露脸。该功能适用于旅游攻略、产品种草、知识科普、临时活动宣传、企业内部培训及个人IP起步等场景,大幅降低视频制作门槛。
推荐理由:拆解了从想法到成品视频的全链路,非专业用户能直观理解脚本生成、数字人驱动等环节如何协作,有助于判断这类工具能否嵌入现有创作流程。
MiniMax:Blog精选AI 评分7878 MiniMax H3 发布:开源全能多模态生成模型,支持 2K 原生立体声视频
MiniMax 正式推出全能多模态生成模型 H3,可联合理解文本、图像、视频和音频,生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出,2K 下每秒价格低于主流模型三分之一,768p 下低于主流 720p 价格一半。官方计划近日开源模型权重,以支持开源社区并加速硬件兼容。
推荐理由:MiniMax H3 把全模态生成打到了 2K 分辨率且价格不到主流三分之一,还计划开源权重,这对闭源视频模型是实打实的压力,开发者可以重点关注。
字节 Seed:Research Feed精选AI 评分8080 字节发布 Seedance 2.5:单次生成 30 秒视频,支持多模态参考与精准编辑
字节跳动今日正式发布新一代视频创作模型 Seedance 2.5,单次视频生成时长从 15 秒提升至 30 秒,并支持多轮延长,可产出数分钟连贯内容。模型支持单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材,并升级白模参考、运动参考及绿幕编辑、时间戳精准编辑等能力。Seedance 2.5 已陆续上线即梦 AI、豆包专业版等平台,API 服务近期将上线火山方舟。
推荐理由:Seedance 2.5 把单次生成拉到 30 秒,加上多模态参考和精准编辑,让视频创作从片段拼凑变成完整叙事。对国内创作者来说,这是即梦和豆包里能马上用到的最强视频模型。
公众号:数字生命卡兹克精选AI 评分6969 MiniMax H3 发布并将开源,主打视觉包装与后期特效
MiniMax 发布 AI 视频模型 H3,并宣布开源。该模型主打视觉包装与后期特效,可生成动态 MV、动态海报、Vlog、电影片头、游戏 UI 等,语义遵循能力极强,在广告与动效领域表现优于 Seedance 2.0,但影视级张力镜头稍逊。H3 开源后预计将出现大量垂直领域特化版本。
推荐理由:在 Seedance 统治的前期创作之外,H3 用语义强控制补上了视觉包装与后期特效这块拼图,广告和社媒短片的后期流程可能因此从剪辑软件迁移到提示词。
Google AI@GoogleAI精选AI 评分6969
推荐理由:Google 把图像生成塞进地球,直接用 Nano Banana 2 在卫星图上创作,门槛低得谁都能玩,做城市设计或创意提案的人可以立刻试试。
Thinking Machines@thinkymachines精选AI 评分6464推荐理由:Inkling-Small 将 Inkling 的性能塞进 1/4 大小的模型,权重完全开放,还支持文本、图像、音频,对想用低成本体验顶尖能力的开发者是个值得上手的信号。
Google DeepMind:Blog精选AI 评分6060 Gemini Robotics ER 2:用视频理解、任务编排与多机器人协作赋能机器人
Google DeepMind 推出 Gemini Robotics ER 2,一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升,使机器人能够推理、协作并解决真实世界任务。
推荐理由:DeepMind 把 Gemini 带到机器人领域,视频理解、任务编排和多机协作的叙事很宏大,但全是愿景,没有实测数据,是不是真正的 step change 得等细节。做机器人的可以先建个追踪。
Thinking Machines Lab:News精选AI 评分7373 Thinking Machines Lab 发布开源权重模型 Inkling-Small
Thinking Machines Lab 发布开源权重模型 Inkling-Small,为 MoE 架构,总参数 276B、激活 12B,以约四分之一的体积达到与 Inkling 相当的性能。
推荐理由:官方给出了完整评测和效率曲线,读者可以据此评估这款小体积 MoE 模型在推理、编码和多模态任务上的性价比。
Google DeepMind:Blog精选AI 评分6363 Google DeepMind 在 Flow Music 中推出 Lyria 3.5,提升音乐性、歌词、人声与创作控制
Google DeepMind 今日在 Google Flow Music 中发布新一代音乐生成模型 Lyria 3.5,带来音乐性、歌词质量、人声表现力与创作控制的多项提升。新模型能生成更自然复杂的旋律结构,歌词对提示词的遵循度和结构意识更强,人声更逼真且富有情感,同时支持更便捷地控制输出节奏与时长。
推荐理由:Lyria 3.5 把音乐生成从玩具级推到了可用创作工具级别,歌词和情感人声的提升对内容创作者是实实在在的福音。
TechCrunch:AI精选AI 评分7373 Martha Stewart 联合创办 AI 初创公司 Hint,为房主提供家居管理 AI 助手
Hint 今日上线,利用 AI 技术帮助房主管理维护计划、能耗、土壤与空气质量、保险理赔等事务,并支持存储和查询房屋相关合同与文件。该应用基于公开数据为每栋房屋建立档案,通过 AI 聊天机器人回答个性化问题,并提供主动维护提醒与“房屋评分”。Hint 目前免费提供 iOS 版,无订阅或广告,未来计划推出付费高级功能。
推荐理由:Martha Stewart 以联合创始人身份加入 Hint 绝非挂名,她亲自打磨体验,这个 AI 家居助手整合了图像识别和文档查询,让房主终于有了一个可用的家庭管理中枢,是 AI 从聊天走向实用的一次有趣尝试。