跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

435 条精选近 30 天 28 条共收录 2,632 条

更新

精选归档 · 第 15 页

5月20日周三第 281–300 条
  1. IT之家·人工智能71

    Stability AI 推出音频模型 Stability Audio 3.0,可生成最长 6 分钟专业级歌曲

    Stability AI 推出 Stability Audio 3.0 音频生成模型家族,包含四款不同规格模型,参数从45900万到27亿。小型模型专注设备端运行,可本地生成两分钟以内的音频;中型和大型模型支持创作超过6分20秒的完整音乐,

    推荐理由:Stability Audio 3.0 把AI音乐从几十秒的demo拉到了六分钟的完整歌曲,而且中小模型直接开源,任何一个能跑模型的设备都能玩,音乐创作的门槛继续被踩低。

  2. SenseTime68

    将你的想法转化为激发故事的视觉画面 🧨 [引用 @Adamaestr0_]:大多数AI工具可以写作或生成图像。 但这个能同时做这两件事。 向你介绍 SenseNova U1。 一个能同时思考文本和图像的AI。 这改变了一切 🧵

    引用Adam@Adamaestr0_

    大多数 AI 工具能写作或生成图像。 但这个能同时做这两件事。 隆重介绍 SenseNova U1。 一个能同时用文本和图像思考的 AI。 这将改变一切 🧵

    推荐理由:商汤发了 SenseNova U1,主打文本和图像同时生成的「全模态」,但宣传语太简略,没给任何性能数据或技术细节,暂时看不出是真突破还是常规迭代,先标记关注。

  3. Google Gemini72

    使用 Gemini 3.5 Flash 构建你的第一款游戏。 无需复杂的3D建模,即可将日常物品直接转化为互动的数字体验。从一个 Nano Banana 提示开始,在 Canvas 中将你的图像变成游戏,并优化你的愿景以获得最佳游戏体验。

    推荐理由:Google Gemini 官方教你把日常物品照片变成互动游戏,Nano Banana 到 Canvas 的链路很直接,想试 Gemini 多模态能力的人可以当入门案例跑一遍。

  4. Google Gemini68

    我们在#GoogleIO上宣布了多项Gemini更新,包括: - 采用神经表达技术的全新Gemini体验设计 - 即将推出的Gemini智能体功能,含每日简报与Gemini Spark - Gemini Omni与3.5 Flash模型 - 以及更多内容! 详情请见此线程🧵

    推荐理由:Google IO上Gemini这波更新,从Neural Expressive到代理体验,是在把AI助手往主动帮你做事的方向推,产品人和开发者该认真看看。

  5. Google Blog:AI83

    Gemini 3.5:前沿智能与行动能力相结合

    Google 在 I/O 大会上正式发布了最新的 Gemini 3.5 模型系列。该系列模型将前沿的人工智能能力与执行操作的功能相结合,旨在提供更强的综合性能。作为 Google 最新推出的模型,它代表了其在大模型技术上的最新进展。

    推荐理由:Google 在 I/O 上甩出 Gemini 3.5,这次不只拼多模态,更强调‘行动’,是所有做 Agent 的团队必须对标的新基座。

  6. Google Blog:AI75

    Google Workspace 推出全新创建方式与高效工作功能

    Google 在最新更新中为 Gmail、Docs 和 Keep 增添了新的语音功能,并推出了一款名为 Google Pics 的全新设计工具。同时,其 AI Inbox 功能也得到了升级与优化。这些更新旨在进一步提升用户在工作场景中的协作效率与创作体验,通过集成更智能的工具和交互方式,帮助用户更便捷地完成多项任务。

    推荐理由:Google Workspace 直接植入了语音操作和设计工具 Pics,这波更新对办公效率很实在,做产品和运营的可以关注一下实际落地效果。

  7. Google DeepMind:Blog83

    推出Gemini Omni多模态AI模型

    谷歌推出原生多模态AI模型Gemini Omni,能够整合视频、图像、音频和文本等多种输入,生成高质量视频内容。其核心能力是通过自然语言对话进行视频编辑,并能保持角色一致性、物理规律与场景连贯性。首个模型Gemini Omni Flash已上线,未来将支持图像和音频输出。Gemini Omni结合了对物理世界的直觉理解与丰富的知识库,支持从写实到叙事的创意生成,并可通过多轮对话持续编辑视频,而不丢失原始场景上下文。

    推荐理由:Gemini Omni 把视频生成从画面堆砌推到了物理世界叙事,多轮自然语言编辑和世界知识融合是真正的代际升级,做视频内容的该重新理解工具的定义了。

  8. 🚨 AI News | TestingCatalog75

    谷歌 I/O 🔥:GEMINI OMNI FLASH 已发布,现已在 GEMINI 和 GOOGLE FLOW 上可用。 GEMINI OMNI PRO 即将推出 🤩

    引用Google DeepMind@GoogleDeepMind

    Omni 将改进的物理理解与 Gemini 在历史、生物和文化方面的知识相结合,弥合了从照片级真实感向有意义叙事的差距。 行动会产生后果,环境会对事件做出反应,叙事会合乎逻辑地演变。

    推荐理由:Gemini Omni Flash 是 Google 对多模态生成的新尝试,把物理模拟和历史叙事揉在一起,做视频内容的人可以盯着看。

  9. Cohere 产品与研究博客71

    Cohere 开源 Command A+:218B 参数 MoE 模型主打企业级智能体能力

    Cohere 发布 Command A+ 并以 Apache 2.0 许可开源权重,模型采用 MoE 架构,总参数 218B、激活 25B,支持 128K 输入上下文和 48 种语言。

    推荐理由:官方公布了 Command A+ 的架构参数、基准成绩与量化部署门槛,可帮助企业评估其在私有环境中的智能体部署可行性。

5月19日周二
  1. Qwen:Blog Retrieval77

    Qwen3.5-LiveTranslate:从声音到视觉,从词语到准确

    Qwen3.5-LiveTranslate-Flash 是 Qwen 家族最新的同声传译模型,基于 Qwen3.5-Omni 架构,支持实时多模态翻译(音频、视频及视觉上下文)。语言覆盖大幅扩展:输入音频与输出文本从18种增至60种,输出音频从10种增至29种。采用 Readable Unit 技术,平均端到端每 token 延迟降至2.8秒,相比前代首 token 延迟降低3.45秒、每 token 延迟降低1.88秒。支持一句话启动的实时语音克隆和可动态配置的热词增强。在 FLEURS 和 CoVoST2 基准上翻译准确率超越主流商用大语音模型。

    推荐理由:这个版本让同声传译从“能用”变成了“好用”,语言覆盖从 18 跃升 60,延迟压到 2.8 秒,加上视觉消除歧义,做国际业务和直播的人值得跟进。

  2. Apple:Newsroom57

    苹果发布全新辅助功能,并引入Apple Intelligence进行更新

    苹果公司宣布推出由Apple Intelligence驱动的重大辅助功能更新。此次更新为VoiceOver、放大镜(Magnifier)和语音控制(Voice Control)功能引入了新的能力,旨在提升残障用户设备的可用性。这是苹果首次将Apple Intelligence应用于其辅助功能技术组合。

    推荐理由:Apple Intelligence为无障碍功能带来自然语言交互和更智能的视觉辅助,是不错的方向,但全是远期承诺,现在还不能上手。

  3. OpenRouter65

    @xai 的 Grok 创意套件中 3 款新模型现已在 OpenRouter 上线: • Grok Imagine Image Quality:照片级真实图像生成与编辑 • Grok Imagine Video:从文本、图像或参考生成短片 • Grok Voice TTS 1.0:支持 20 多种语言的 5 种语音 更多详情见下方 🧵

    推荐理由:如果你觉得官方 Grok API 麻烦,OpenRouter 现在一口气上线了 Imagine 图像、视频和 Voice TTS,做创意产品的开发者可以直接从这里调用了,省去多签一轮 API key 的功夫。

5月18日周一
  1. Hugging Face 社区博客68

    PaddleOCR 3.5:使用Transformers后端运行OCR和文档解析任务

    PaddleOCR 发布 3.5 版本,正式将 Transformers 确立为运行 PP-OCRv5 及 PaddleOCR-VL 1.5 模型的可选推理后端之一。此次更新引入了更灵活的 `engine` 与 `engine_config` 参数,允许开发者自主选择后端并配置数据类型、设备等选项。其核心价值在于,显著降低了将文档处理能力集成至以 Transformers 为中心的主流开发栈(如 RAG、智能体、文档AI)的门槛,使开发者能更便捷地利用现有生态,减少集成阻力,从而专注于下游应用构建。

    推荐理由:PaddleOCR 3.5 最大的变化不是新模型,而是终于能跑在 Transformers 上了,做 RAG 和文档智能的开发者可以少写一堆胶水代码。

  2. Elon Musk75

    Grok可以处理视频了 [引用 @XFreeze]:你现在可以将整个视频上传给Grok,让它实时为你分析、总结、翻译、解释场景或提取重要上下文。 Grok能够理解完整的视频——而不仅仅是图像和文本。 它具备原生多模态能力和极其强大的视觉理解能力。

    引用X Freeze@XFreeze

    你现在可以把整段视频上传到 Grok,让它实时为你分析、总结、翻译、解释场景,或提取重要背景信息 Grok 能理解完整视频——不只是图像和文本 它原生多模态,具备极其强大的视觉能力

    推荐理由:Grok 补上了视频理解这块拼图,不是抽帧而是整个视频的上下文分析,做媒体和内容的人多了一个实用的多模态工具,可以上手试试。

5月17日周日
  1. Google DeepMind:Blog63

    让了解网络内容的创建和编辑过程变得更简单

    平台宣布扩展其内容透明工具,旨在让用户更便捷地追溯网络内容的创建与编辑历史。这项更新将适用于社交媒体平台、网页内容等多个场景,帮助用户识别信息的修改痕迹,提升数字内容的透明度。

    推荐理由:Google 把 SynthID 水印和 C2PA 凭证推向搜索、Chrome 和 API,普通人也能随手查「这是 AI 做的吗?」,这对虚假信息是实际的约束。

5月16日周六
  1. Google DeepMind:Blog75

    Gemini 3.5:具备行动能力的前沿智能

    Google发布了Gemini 3.5模型,该模型专注于提升执行复杂任务的能力。其核心特点是支持“代理式工作流”,即能够像助手一样自主规划并执行一系列多步骤、复杂的操作,旨在将先进的语言理解与实际问题解决能力相结合。

    推荐理由:Gemini 3.5 Flash 把前沿级智能体和编程能力塞进了极低延迟和成本,四倍于竞品速度的同时基准表现超过 3.1 Pro,这可能是今年对开发者最实用的基座模型之一。