跳到正文

技术方向

AI 视频 最新动态

AI 生成和理解视频:文生视频模型、视频编辑工具,以及影视创作的新做法。

133 条精选近 30 天 16 条共收录 1,575 条

更新

精选归档 · 第 6 页

5月11日周一第 101–120 条
  1. Thinking Machines Lab:官方博客59

    Thinking Machines Lab发布Interaction Models研究预览

    Thinking Machines Lab发布interaction models研究预览。该模型从零训练,原生处理音频、视频和文本,采用多流微回合设计实现实时响应,无需外部脚手架。研究预览展示了全新的交互能力,并在智能性与响应性上取得综合SOTA表现。

    推荐理由:Thinking Machines 把实时交互训进了模型本身,不再是外挂脚手架,微轮次架构和 benchmark 数据很硬,做语音/视频助手的可以认真看看,虽然还是研究预览,但方向值得盯着。

5月7日周四
  1. IT之家·人工智能70

    全国首例 AI 短剧侵权刑事案一审宣判:盗录超 1700 部牟利获刑,构成侵犯著作权罪

    全国首例AI短剧侵权刑事案一审宣判。被告人盗录某公司AI工具生成的短剧超过1700部,并在二手平台以66.66元打包出售牟利,构成侵犯著作权罪。法院认定,这些短剧由用户输入原创剧本、情节等提示词生成,体现了独创性表达,属于受著作权法保护的作品。被告人被判处有期徒刑八个月,缓刑一年两个月,并处罚金人民币六千元。涉案公司平台已累计生成超7000部AI短剧,单价数元至十几元,热门剧销量可达上千份。

    推荐理由:AI短剧首例刑事案落槌,法院认定了提示词创作的独创性,以后靠盗录AI赚快钱的路子要被堵死,做内容生意的都得认真看。

5月5日周二
  1. Runway:News80

    从单张图像构建实时视频智能体:Runway Characters技术解析

    Runway公司推出“Characters”实时视频智能体,它能将任意单张参考图像(如真人、卡通或幻想生物照片)实时转化为具有自然对话表现力的视频角色。该技术基于其通用世界模型GWM-1,无需微调即可生成每秒24帧的高清视频,并同步口型、表情和头部运动。其核心突破在于通过自回归逐帧生成、流程优化与并行化,实现了每帧仅37毫秒的模型处理时间,以及从用户停止说话到角色开始响应仅1.75秒的服务器端延迟,从而满足了实时交互对话的严苛要求。

    推荐理由:把单张图变成实时对话角色这件事,Runway 做到了 24fps 且 1.75 秒响应。不是预录,是真实时,还带了知识库和工具调用,做虚拟角色产品的可以直接拿来集成。

4月15日周三
  1. OpenRouter:Announcements57

    宣布推出视频生成功能

    OpenRouter平台现已上线视频生成服务。用户可通过单一API接口,直接调用顶级的视频生成模型。这一集成简化了开发流程,使开发者无需分别对接不同厂商,即可便捷地访问和使用当前领先的视频AI模型能力。

    推荐理由:OpenRouter 把视频生成塞进统一 API,对已经在用它做多模型路由的开发者来说是零成本扩展,但对大多数人只是又一个聚合入口,不算必须关注的节点。

  2. 字节 Seed:Research Papers66

    字节 Seed 发布 Seedance 2.0 音视频联合生成模型

    字节 Seed 发布原生多模态音视频生成模型 Seedance 2.0,2026 年 2 月初在中国正式上线,采用统一架构支持文本、图像、音频、视频四种输入模态。

    推荐理由:官方技术报告梳理了 Seedance 2.0 的统一架构、多模态输入上限与分辨率规格,读者可对照前代看能力变化。

4月9日周四
  1. Hugging Face 社区博客60

    Waypoint-1.5:为消费级GPU打造的高保真交互世界模型

    Wayve发布Waypoint-1.5模型,用于生成高保真可交互虚拟世界。该模型经优化后能在消费级GPU(如RTX 4090)上高效运行,降低硬件门槛,支持实时交互与动态场景生成,适用于自动驾驶模拟、游戏开发等领域,推动AI技术民主化。

    推荐理由:Waypoint 1.5 把实时生成世界从 demo 变成了消费级 GPU 上能跑的东西,360p 版的兼容性让游戏本也能玩。高保真不是重点,实时响应和本地运行才是,做互动内容的值得关注。

3月18日周三
3月9日周一
  1. Runway:News

    Runway 推出 Characters:单图实时生成可对话虚拟角色 API

    Runway 推出 Characters API,基于 GWM-1 世界模型,支持用单张图片零微调生成实时可对话虚拟角色。支持自定义外观风格、声音、性格及知识库,具备自然表情、眼神、口型同步和手势。面向客户支持、培训教育和品牌营销等企业场景,已获 BBC 等采用。开发者可通过 API 集成,消费者也可在网页端体验预设角色。

    推荐理由:Runway推出实时视频Agent,单图生成可对话数字人,拓展AI交互形态

3月6日周五
  1. Manus:Blog64

    Manus 内容作者实测 Google Veo 3:唇同步惊艳但整体表现参差

    Manus 内容作者用四个提示实测 Google Veo 3,发现对话唇同步质量达到纪录片级,但产品一致性、动作场景和电影测试均出现明显问题。测试中为完成四个视频从 Google AI Plus($7.99/月)两次升级到 Google AI Pro($19.99/月),结论是 Veo 3 在对话类内容上表现突出,但尚不是演示所暗示的可靠全能视频生成器,剪辑最长 8 秒且受每日生成限制。

    推荐理由:作者用四个提示实测 Veo 3 并给出各档订阅价格与真实短板,读者可据此判断它适不适合自己的使用场景。

2月27日周五
  1. Saining Xie

    Project Solaris提出世界建模的本质在于全局共享状态而非局部像素渲染,推出基于Minecraft的多人在线视频世界模型。该系统突破单智能体视角局限,支持任意数量智能体随时介入交互,实现持久化世界状态演化。核心包含三大组件:Solaris Engine多人数据收集系统、基于DiT架构的Solaris Model(采用新型内存高效自强制设计,训练于1260万帧协调游戏数据)、以及使用VLM评判的Solaris Eval评估体系。这一范式转变为构建神经MMORPG服务器奠定基础。

    引用Oscar Michel@ojmichel4

    📢当前的世界模型并没有真正在建模世界;它们建模的是某一个智能体对世界的视角。部分观测 ≠ 世界状态。 未来的世界模型将独立于任何单个智能体的视角。你将能够在任意时间点“放入”任意数量的智能体,而一个持久的世界状态将随着它们的交互而演化。想象一个神经 MMORPG 服务器。🧵[1/10]

    推荐理由:从单视角到共享全局状态,开源多智能体世界模型或改变AI训练范式

2月12日周四
  1. 字节 Seed:Research Feed

    Seedance 2.0 正式发布

    Seedance 2.0 视频生成模型正式发布,综合性能达业界 SOTA 水平。新版本支持多模态输入,可同时参考 9 张图片、3 段视频、3 段音频及文本指令,精准迁移构图、动作、运镜与音效。模型支持 15 秒高质量多镜头生成,集成双声道立体声技术,并新增视频延长与编辑功能,可定向修改片段、角色及剧情。目前已在即梦 AI、豆包及火山方舟平台上线,适用于影视、广告、电商等工业级内容创作场景。

    推荐理由:字节Seedance 2.0发布,支持多模态输入与物理稳定生成,已上线豆包即梦

2月7日周六
  1. FireRedTeam:原创语音与多模态项目63

    FireRedTeam 开源 FireRed-OpenStoryline 对话式视频创作工具

    FireRedTeam 于 2026-02-10 正式开源 FireRed-OpenStoryline,将视频创作变为自然语言对话,支持素材搜索下载、脚本生成、BGM 与配音字体推荐,以及全流程剪辑。

    推荐理由:官方开源的对话式视频剪辑项目,覆盖素材检索、脚本生成到剪辑全流程,并可直接通过 Claude Code 等 Agent Skills 安装使用。

2月1日周日
  1. OpenMOSS / 复旦NLP / 上海创智 / MOSI62

    MOVA 发布:32B MoE 端到端同步视频-音频生成模型全栈开源

    OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。

    推荐理由:原文给出架构、训练策略和开源范围,读者可以了解端到端音视频生成如何处理同步问题并可复现研究。

1月28日周三
  1. xAI:News

    xAI发布Grok Imagine API

    xAI推出Grok Imagine API,提供文本/图像转视频及高精度编辑功能,支持物体增删、风格转换与原生音频生成。在Artificial Analysis和LMArena基准测试中排名首位,720p视频生成延迟与成本均低于Veo 3和Sora 2;在IVEBench评测中整体表现超越Kling o1与Runway Aleph。API已开放xAI及第三方平台接入。

    推荐理由:xAI发布Grok Imagine视频生成API,性能宣称超越Sora与Veo,支持端到端视频创作工作流

1月20日周二
  1. Hugging Face 社区博客73

    Overworld发布实时交互式视频扩散模型Waypoint-1

    Overworld推出实时交互式视频扩散模型Waypoint-1,用户可通过文本、鼠标和键盘实时控制生成可步入的虚拟世界。该模型基于帧因果校正流变换器架构,在1万小时游戏视频及对应控制数据上训练,从一开始就专注于交互体验,支持零延迟的自由操控。其配套的高性能推理库WorldEngine在消费级硬件上可实现流畅运行,例如Waypoint-1-Small在RTX 5090上能以30 FPS(4步去噪)或60 FPS(2步去噪)生成画面。模型采用扩散强制预训练和自我强制后训练来确保生成长序列的稳定性。

    推荐理由:零延迟交互式视频生成,游戏和创意应用开发者的福音。

1月14日周三
11月17日周一
10月28日周二
  1. MiniMax:Blog

    MiniMax 发布 Hailuo 2.3 / 2.3 Fast 视频模型

    MiniMax 推出 Hailuo 2.3 视频生成模型,在物理动作流畅度、艺术风格化(支持动漫、水墨、游戏 CG)及角色微表情方面显著提升,维持 Hailuo 02 原价,Fast 版本批量创作成本降低 50%。Hailuo Video Agent 同步升级为 Media Agent,支持多模态一键视频生成与分步自定义创作,已全平台上线并开放免费试用。

    推荐理由:MiniMax 发布 Hailuo 2.3 视频模型及 Media Agent,支持多模态一键生成

10月21日周二
  1. Together AI 研究与产品博客66

    Together AI 上线 40 多个图像与视频生成模型,新增视频生成 API

    Together AI 宣布扩展模型库,通过 Runware 合作集成 20 多个视频模型(含 OpenAI Sora 2、Google Veo 3、Minimax Hailuo、Kling v2.1)和 15 个以上图像模型(含 Google Imagen 4.0 Ultra、Nano Banana、Qwen Image),共 40 多个。

    推荐理由:Together AI 官方给出了 40 多个图像与视频模型的名称、时长和逐模型定价,开发者可据此评估能否用一个平台替代多家供应商。