天工短剧工作台发布“Agent智能分镜+无限画布”双轨创作模式
天工短剧工作台推出双轨创作模式,通过导演Agent自动解析剧本、规划站位与机位,并支持多视细节图生成,解决AI短剧角色变脸和站位漂移问题。该工具内置影视级提示词模板、720°全景图及3D导演台,实现可控生产。已有三部作品上线DramaWave 7天实现百万美元级营收。
推荐理由:天工短剧工作台把导演思维实打实地做进了产品,站位置图和3D导演台专门根治角色乱变脸的痼疾,是短剧工具从随机抽卡迈向可控生产的关键一步,创作者值得细看。
技术方向
AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。
124 条精选近 30 天 8 条共收录 1,506 条
天工短剧工作台推出双轨创作模式,通过导演Agent自动解析剧本、规划站位与机位,并支持多视细节图生成,解决AI短剧角色变脸和站位漂移问题。该工具内置影视级提示词模板、720°全景图及3D导演台,实现可控生产。已有三部作品上线DramaWave 7天实现百万美元级营收。
推荐理由:天工短剧工作台把导演思维实打实地做进了产品,站位置图和3D导演台专门根治角色乱变脸的痼疾,是短剧工具从随机抽卡迈向可控生产的关键一步,创作者值得细看。
天工短剧工作台(SkyProduction)推出“Agent智能分镜+无限画布”双轨创作模式,将导演思维拆解为六个可干预环节,通过站位图锁定和多视细节图生成解决角色漂移、变脸问题。该工作台支持720°全景图、3D导演台、多账号分级管理及数据中心,并原生支持英文短剧全流程处理。其三部精品短剧上线DramaWave仅7天,均实现百万美元级营收。
推荐理由:天工短剧工作台把导演思维拆解成可干预的站位、光影和调度环节,降低了从单镜头到连续叙事的落差,适合需要稳定产出精品短剧的团队。
LibTV推出Agent功能并内置Skill Hub,提供100多个覆盖武侠电影、皮克斯动画广告、电商口播等类型的视频Skill。用户输入想法后,Agent会分析需求并询问方向,自动生成视频分镜并串联成完整节点工作流,每个节点可查看和修改提示语。生成后LibTV会启动自查机制,自动检测并返修有问题的镜头。故事板视图提供图片与视频资产总览,支持在成片中直接打开剪辑时间线进行精细调整。用户还可自行创建Skill,上传三个文件即可,无需编程。实测中,Agent能输出剧情连贯、带粤语配音的成片,并支持双语字幕生成。
推荐理由:LibTV把成熟的视频流程做成可复用的Skill,并开放自定义上传,让创作者无需从节点开始,直接输出接近成片的作品,对于想缩短想法到成片距离的人,这是一个值得上手的效率工具。
新加坡视频生成初创公司 PixVerse 完成 C 轮扩展融资,共筹集 4.39 亿美元,估值突破 20 亿美元。公司提供 V 系列(消费者及 API)、C 系列(专业影视)及今年初发布的 R 系列世界模型(游戏开发)。用户可生成最高 4k 分辨率并自带音频的视频,消费端注册用户超 1.5 亿,月活超 1500 万,图生视频每分钟 4.80 美元。本轮投资者包括阿里巴巴等。公司计划今年推出新 V 系列模型及新版世界模型,并全球拓展企业客户。
推荐理由:4.39亿美元让视频生成赛道又添一把火,PixVerse押注的字节系数据标注经验,比模型参数更值得产品人关注,虽然市场挤,但估值翻倍是真实信心。
推荐理由:Meta 超级智能实验室的首个媒体生成模型,把图像生成跟 Instagram 社交语境结合听起来很实用,但细节还少,期待后续实测。
Grok Imagine 更新。请更新你的 Grok 应用!15 秒 Imagine 视频现已可用,质量令人难以置信。
更新你的 Grok 应用!15 秒 Imagine 视频现已上线,画质令人惊叹。
推荐理由:Grok Imagine 加入视频生成,xAI 在多模态上再进一步。15 秒视频质量据说惊艳,但推文缺细节,想试的可直接更新 App。
介绍 MIRA。 一个可游玩、多人联机的世界模型。 一个 Rocket League 的梦想。 MIRA 基于用公开可用的机器人收集的 1 万小时数据进行训练,学习了一场四人游戏的动态。该模型根据你和其他玩家按下的按键,以 20 fps 实时运行。 由 General Intuition 和 @kyutai_labs 打造,并与 Epic Games 合作。未用于开发 Rocket League。 ▶️ 在 http://generalintuition.com/mira 游玩演示、阅读技术报告,并探索开源代码。 在 ICML 吗?来 111 号展位亲自体验,并与团队一起深入探讨结果。
推荐理由:世界模型终于跑通了实时多人游戏,20 FPS 的 Rocket League 梦境能直接上手玩,代码和报告都开源,做游戏和交互的值得试试。
7月3日,生数科技在2026全球数字经济大会上发布Vidu S1实时交互模型,支持实时视频通话和语音控制视频走向,实现无限时长连续互动。模型采用自回归扩散路线,基于已生成画面和语音指令持续预测后续内容;无需传统建模,一张图片即可创建角色并自定义音色。Vidu S1在540P分辨率下实现25FPS(最高42FPS)实时生成,通过TurboDiffusion等技术降低计算成本,已开启内测。
推荐理由:Vidu S1 把视频生成从离线拉到了实时通话级交互,语音控制无限时长是质变,但只有540P,内测阶段实际延迟和稳定性待看,做虚拟陪伴和直播的可以跟。
VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重建。相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。在类别和文本到视频生成任务中,VideoFlexTok以1.1B参数(5.2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍。
推荐理由:把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
快手在港交所公告,21名初始投资者同意以138.24亿元人民币(20.28亿美元)现金注资北京可灵,后者将持有可灵AI相关资产。同日15名额外投资者追加出资52.235亿元人民币(7.6639亿美元),认购总上限为204.471亿元(30亿美元),对应北京可灵扩大后注册资本的16.67%。投后估值180亿美元。快手预计未来12个月内启动可灵AI赴港上市,募资用于扩充算力、建设数据中心及人才引进。
推荐理由:可灵AI这轮180亿美元估值融资,是AI视频赛道迄今最重量级的资本动作之一,也是中国AI公司分拆上市的标杆事件,值得关注后续上市进程。
戛纳国际创意节今年首次设立AI Craft子赛道,两部使用可灵AI生成的广告作品获奖:《L'Ultimo Uomo Reale》拿下Classic单元Film银奖及Craft单元Film Craft铜奖,《Lorem Ipsum》获得Classic单元Film铜奖。
推荐理由:《L’Ultimo Uomo Reale》和《Lorem Ipsum》用可灵完成从人物表演到视觉奇观的全部画面,戛纳金狮的认可使AI视频生成进入商业交付级评价体系,广告公司的「技术已就绪」主张因此有了第三方权威参考。
刷末日信息流,但让它变得有教育意义 🤓 隆重推出 NotebookLM 的短视频概览!把你最复杂的资料变成 60 秒的竖屏视频,深入讲解任何概念。 现正向移动端和网页端的 Google AI Ultra 和 Pro 订阅用户推出(免费用户很快也能用上!)
推荐理由:NotebookLM 把资料源变成 60 秒竖屏视频,想法不新但落地很实用,学生和内容创作者可能会高频用上,只是颠覆性谈不上。
Runway发布Agent 2.0,帮助营销人员创建、测试和优化广告、视频及营销活动。品牌营销人员可在对话中开发活动概念、生成变体并自动本地化;绩效营销人员可上传创意并导入Meta、YouTube、TikTok或Google广告数据,由Agent分析后生成下一轮待测广告。社交媒体营销人员可一次性生成一周内容,自动裁切为9:16、16:9、1:1等格式;产品营销人员可借助Agent确定定位角度并构建活动资产。Agent 2.0面向所有用户开放。
推荐理由:Runway的Agent 2.0不只是生成视频,它试图打通从广告数据分析到全平台素材生成的闭环,做增长和社交内容的团队可以观望一下。
推荐理由:单张 RTX 5090 上 1.8 秒生成 5 秒视频,把消费级延迟压到了‘即时生成’的临界点,做短视频和互动应用的开发者可以认真把这个模型放进技术栈。
Aleph 2.0 是 Runway 的旗舰视频编辑模型,现已在 Figma Weave 中上线。它是一个基于上下文的视频编辑模型,通过关键帧工作:从视频中提取一帧,重新设计风格并附上时间戳连接回 Aleph 2.0 节点,即可将该编辑传递到主体出现的每一帧,同时保持其他内容不变。支持最长 30 秒、1080p 的片段,可跨多镜头序列应用编辑,无需逐镜头处理。
推荐理由:Runway 把旗舰视频编辑模型直接接入了 Figma 的创意画布,对设计师和视频团队来说,这意味着帧级编辑不用切换工具,协作流程可能大幅简化。
Google DeepMind 宣布向独立电影制片厂 A24 投资 7500 万美元(据《华尔街日报》),双方将合作开发电影制作 AI 工具。A24 出品过《万事俱备》《后室》等影片。Google DeepMind CEO Demis Hassabis 称,希望通过与艺术家直接合作,打造支持创意表达的 AI 功能。此举是好莱坞最新一次科技公司与电影 AI 联手,此前 Netflix 已收购 Ben Affleck 的 AI 工具公司 Interpositive,亚马逊 MGM 工作室也在去年设立了影视 AI 部门。
推荐理由:Google DeepMind 首次在影视内容创作上投入 7500 万美元,与 A24 合作开发 AI 工具,这标志着顶尖 AI 实验室开始直接渗透好莱坞核心创意流程,做文娱 AI 工具的人和关注产业交叉点的人应该留意。
京东官方宣布开源实时视频视觉语言交互模型 JoyAI-VL-Interaction,这是全球首个全栈开源的 interaction 模型和系统,获 vLLM-Omni day-0 原生支持。该模型具备三重突破:主动判断(持续观察视频流自主决定何时说话)、实时响应(面向正在发生的视频流即时响应)、适时智能体委托(复杂任务转交后台模型,前台继续观察)。支持摄像头、直播流、监控流等视频输入,以及语音输入输出、可视化界面、长期记忆和 vLLM 部署。在 58 个真人盲评案例中,对比豆包视频通话助手总体胜率 77.6%,对比 Gemini 视频通话助手总体胜率 87.9%。
推荐理由:京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。
6月17日,阿里云发布开放式世界模型HappyOyster 1.0(快乐生蚝)。该产品基于原生多模态架构,支持多模态输入与音视频联合生成,可在生成过程中持续接收用户指令并实时响应画面。它深度学习物理世界状态转移规律,保持人物和环境长程一致性。官网开放“实时导演”与“世界探索”两种玩法:前者可随时叫停改写故事、与虚拟男友实时互动等;后者支持自由漫游、滑板冲刺、翼装滑翔、骑马奔驰、攻击打怪等交互。该产品已于今年4月16日开放内测,即日起至7月17日官网不定期掉落体验积分。
推荐理由:阿里把世界模型做成了可玩的交互产品,一句话生成能探索能互动的数字世界,实时导演模式直接替代了一部分短剧和互动内容创作,虽然还像噱头但至少是能玩的尝试。
火山引擎一站式营销创作平台Kickart 3.0(原“创作Agent”)正式上线,升级为对话式视频生成模式,用户可通过多轮对话调整商品图、故事板等,用自然语言生成营销视频。新增“爆款裂变”能力,上传视频链接后自动拆解爆款逻辑并重构至新商品视频,支持抖音电商内容合规与质量预审核。平台开放SaaS、API及Skill等多种交付方式,并已接入Seedance 2.0 mini,助力降低广告营销成本。
推荐理由:火山引擎为营销人带来的视频生成工具体验不错,对话式调整和爆款裂变能降低创作门槛,但对于关注AI技术进展的读者,这更像一次垂直行业产品迭代,亮点有限。
xAI 将 Grok Imagine Video 1.5 从预览转为全面可用,在 Imagine API 上提供 `grok-imagine-video-1.5`,并在 grok.com/imagine 及 iOS/Android 应用上推出 Video 1.5 Fast 版。相比前代,模型在音频与语音(更清晰、嘴型同步更好)、运动与物理(更连贯、重量感更真实)、生成速度(6 秒 720p 视频约 25 秒,此前超 40 秒)上全面提升。同时逐步推出 Projects、Multiple agents(并行运行多个生成任务)、Search 等新功能,以优化创作流程。
推荐理由:Grok Imagine 1.5 把视频生成速度砍半,音效同步和项目功能让创作者工作流更顺畅,xAI 在视频方向上站住了脚。