跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

445 条精选近 30 天 30 条共收录 2,757 条

更新

精选归档 · 第 5 页

8月5日周三第 81–100 条
  1. OpenRouter66

    @bfl_ai 的 FLUX 3 Video 现已在 OpenRouter 上向所有人开放。 一个统一的视频、音频、图像和动作预测多模态模型家族。严肃、有趣、创意、真实、电影感,随你所需。基于统一架构联合训练。

    推荐理由:联合训练的统一架构下,视频生成与图像、音频共享基础能力,跨模态创作的结果可能更连贯,改变了单独优化各模态的传统思路。

  2. SenseTime67

    商汤发布开源模型 SenseNova U1,可在统一流程中同时进行推理与图像生成。其信息图模式可将单条提示词转为结构化幻灯片,交错模式则逐步生成图文内容,如演示六步画龙教程。模型已上线 SenseNova Studio、HuggingFace 及 GitHub。

    推荐理由:把推理和图像生成整合进单一模型流,信息图模式和逐步教程展示了从推理到可视化的直接路径,为需要图文连贯输出的应用提供了可探索的开源方案。

  3. LlamaIndex:产品、工程与评测66

    LlamaIndex:文档 OCR 不会被前沿模型商品化,LlamaParse Agentic 以 84.9% 领先

    LlamaIndex 发文反驳文档 OCR 正被前沿模型商品化的观点,称帕累托前沿仍远高于最新前沿模型。其开源的 ParseBench(约 2,000 个人工核验的企业页面、167,000+ 条测试规则)显示,GPT-4o 到 GPT-5.5 三代模型解析准确率提升约 24 分但每页成本约翻四倍,最新最贵模型仍比专用前沿低 20 分。

    推荐理由:文章用 ParseBench 数据论证文档 OCR 不会被前沿模型商品化,并给出路由、蒸馏、文本层复用等可迁移的工程方法。

8月4日周二
  1. Mistral AI:News63

    Mistral 开源 3B 多模态安全分类器 Shieldstral,支持推理时自定义政策无需重训

    Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral,以 Apache 2.0 协议开放下载。它把内容审核建模为政策自适应问答任务,推理时用自然语言问题传入政策即可返回校准的安全分数,无需重训练,统一覆盖文本、图像及 prompt-response 对的审核、拒答检测和毒性检测。

    推荐理由:原文给出了把内容审核改为推理时自适应问答的方法、数据构建思路和基准表现,适合想自建安全审核方案的开发者参考。

  2. Greg Brockman66

    GPT-Live 是一种用于实时音频的新架构和栈: GPT-Live 可以在说话的同时聆听。 为了让这种体验在 ChatGPT 规模下显得自然,我们从客户端到模型重建了语音栈。 这一新架构让音频持续流动,因此更深入的推理和工具使用不会打断对话。

    引用OpenAI@OpenAI

    GPT-Live 可以边说边听。 为了让这在 ChatGPT 规模下显得自然,我们从头重建了从客户端到模型的语音技术栈。 这一新架构让音频持续流动,因此更深入的推理和工具调用不会打断对话。

    推荐理由:在 GPT-Live 架构下推理与工具调用期间音频流不间断,语音交互的等待感和打断感被显著消除,适用于需要持续对话的陪伴和协作场景。

8月3日周一
  1. Kimi.ai70

    使用 Kimi Work 制作幻灯片 - 教程 #1。 Kimi Slides 处理整个幻灯片制作流程: - 清晰的结构与研究,由 Kimi K3 驱动 - 连贯的设计,包括精美的图表和 SmartArts - 可编辑并可直接下载 欢迎在评论区告诉我们你还想看什么内容!

    推荐理由:教程展示了如何用 Kimi Slides 一站式完成幻灯片的结构、设计和下载,对需要快速产出演示文档的 Kimi 用户有直接可用性,但完整效果仍取决于实际模板和内容质量。

  2. 公众号:MiniMax75

    MiniMax H3 正式开源:通用全模态生成系统支持 2K 视频与原生立体声

    MiniMax 正式开源新一代通用视频模型 H3,可统一理解文本、图像、视频和音频,生成最高 2K 分辨率、最长 15 秒、带 32 kHz 原生立体声音频的视频。

    推荐理由:与多数开源视频模型不同,H3 原生支持同步生成立体声音频,且通过上下文再生成实现 2K 分辨率,为音视频生成应用提供了更完整的开源基座。

8月2日周日
7月31日周五
  1. 公众号:百度智能云66

    百度搭子一镜Skill:一句话生成数字人口播视频

    百度搭子内置的一镜Skill支持仅凭一句话或一个主题,自动完成脚本生成、声音、数字人形象、口型驱动和视频渲染,生成可直接播放的数字人口播视频,全程无需拍摄、剪辑和露脸。该功能适用于旅游攻略、产品种草、知识科普、临时活动宣传、企业内部培训及个人IP起步等场景,大幅降低视频制作门槛。

    推荐理由:拆解了从想法到成品视频的全链路,非专业用户能直观理解脚本生成、数字人驱动等环节如何协作,有助于判断这类工具能否嵌入现有创作流程。

  2. MiniMax:Blog78

    MiniMax H3 发布:开源全能多模态生成模型,支持 2K 原生立体声视频

    MiniMax 正式推出全能多模态生成模型 H3,可联合理解文本、图像、视频和音频,生成最高 2K 分辨率、15 秒时长且带原生立体声的视频。H3 在指令跟随、文字与品牌呈现、V2V 动作迁移上表现突出,2K 下每秒价格低于主流模型三分之一,768p 下低于主流 720p 价格一半。官方计划近日开源模型权重,以支持开源社区并加速硬件兼容。

    推荐理由:MiniMax H3 把全模态生成打到了 2K 分辨率且价格不到主流三分之一,还计划开源权重,这对闭源视频模型是实打实的压力,开发者可以重点关注。

  3. 字节 Seed:Research Feed80

    字节发布 Seedance 2.5:单次生成 30 秒视频,支持多模态参考与精准编辑

    字节跳动今日正式发布新一代视频创作模型 Seedance 2.5,单次视频生成时长从 15 秒提升至 30 秒,并支持多轮延长,可产出数分钟连贯内容。模型支持单次输入最多 30 张图片、10 段视频和 10 段音频作为参考素材,并升级白模参考、运动参考及绿幕编辑、时间戳精准编辑等能力。Seedance 2.5 已陆续上线即梦 AI、豆包专业版等平台,API 服务近期将上线火山方舟。

    推荐理由:Seedance 2.5 把单次生成拉到 30 秒,加上多模态参考和精准编辑,让视频创作从片段拼凑变成完整叙事。对国内创作者来说,这是即梦和豆包里能马上用到的最强视频模型。

  4. 公众号:数字生命卡兹克69

    MiniMax H3 发布并将开源,主打视觉包装与后期特效

    MiniMax 发布 AI 视频模型 H3,并宣布开源。该模型主打视觉包装与后期特效,可生成动态 MV、动态海报、Vlog、电影片头、游戏 UI 等,语义遵循能力极强,在广告与动效领域表现优于 Seedance 2.0,但影视级张力镜头稍逊。H3 开源后预计将出现大量垂直领域特化版本。

    推荐理由:在 Seedance 统治的前期创作之外,H3 用语义强控制补上了视觉包装与后期特效这块拼图,广告和社媒短片的后期流程可能因此从剪辑软件迁移到提示词。

  5. Google AI69

    Google Earth 网页版上线基于 Nano Banana 2 的图像生成功能,用户可通过文本提示词将卫星与 3D 影像结合,重新想象全球任意地点(如百年前的城市风貌或社区新球场)。该功能现已面向所有用户开放。

    推荐理由:Google 把图像生成塞进地球,直接用 Nano Banana 2 在卫星图上创作,门槛低得谁都能玩,做城市设计或创意提案的人可以立刻试试。

7月30日周四
  1. Google DeepMind:Blog60

    Gemini Robotics ER 2:用视频理解、任务编排与多机器人协作赋能机器人

    Google DeepMind 推出 Gemini Robotics ER 2,一个基于 Gemini 的机器人基础模型。该模型在视频理解、工具编排和多机器人协作方面实现阶跃式提升,使机器人能够推理、协作并解决真实世界任务。

    推荐理由:DeepMind 把 Gemini 带到机器人领域,视频理解、任务编排和多机协作的叙事很宏大,但全是愿景,没有实测数据,是不是真正的 step change 得等细节。做机器人的可以先建个追踪。

  2. Thinking Machines Lab:News73

    Thinking Machines Lab 发布开源权重模型 Inkling-Small

    Thinking Machines Lab 发布开源权重模型 Inkling-Small,为 MoE 架构,总参数 276B、激活 12B,以约四分之一的体积达到与 Inkling 相当的性能。

    推荐理由:官方给出了完整评测和效率曲线,读者可以据此评估这款小体积 MoE 模型在推理、编码和多模态任务上的性价比。

  3. Google DeepMind:Blog63

    Google DeepMind 在 Flow Music 中推出 Lyria 3.5,提升音乐性、歌词、人声与创作控制

    Google DeepMind 今日在 Google Flow Music 中发布新一代音乐生成模型 Lyria 3.5,带来音乐性、歌词质量、人声表现力与创作控制的多项提升。新模型能生成更自然复杂的旋律结构,歌词对提示词的遵循度和结构意识更强,人声更逼真且富有情感,同时支持更便捷地控制输出节奏与时长。

    推荐理由:Lyria 3.5 把音乐生成从玩具级推到了可用创作工具级别,歌词和情感人声的提升对内容创作者是实实在在的福音。

7月29日周三
  1. TechCrunch:AI73

    Martha Stewart 联合创办 AI 初创公司 Hint,为房主提供家居管理 AI 助手

    Hint 今日上线,利用 AI 技术帮助房主管理维护计划、能耗、土壤与空气质量、保险理赔等事务,并支持存储和查询房屋相关合同与文件。该应用基于公开数据为每栋房屋建立档案,通过 AI 聊天机器人回答个性化问题,并提供主动维护提醒与“房屋评分”。Hint 目前免费提供 iOS 版,无订阅或广告,未来计划推出付费高级功能。

    推荐理由:Martha Stewart 以联合创始人身份加入 Hint 绝非挂名,她亲自打磨体验,这个 AI 家居助手整合了图像识别和文档查询,让房主终于有了一个可用的家庭管理中枢,是 AI 从聊天走向实用的一次有趣尝试。