跳到正文
meng shao· @shao__meng · X·· 4 小时前AI 评分57
AI 导读

Viggle 发布全栈物理原生世界基础模型 JST-2,与 Sora、Genie、Cosmos 等像素/视频空间路线相反,整个技术栈构建在 3D 空间。

正文 · 原文

近期主流世界模型 (Sora、Genie、Genie-3、Cosmos...) 几乎都工作在像素/视频空间,模型从海量视频中隐式地“猜”出物理规律

@ViggleAI 最新发布的「JST-2」走了一条相反的路:整个技术栈直接构建在 3D 空间里

JST-2 的表示单位叫 Physics-Native Token:世界被建模为 3D 空间中持续存在的"原子",每个原子携带三样东西
· 显式的 xyz 坐标(明确的空间位置)
· 属性向量(这个东西是什么、长什么样,学习得来)
· 动力学向量(它在运动中如何变形,学习得来)

这一点是理解整篇发布的关键:物理结构不是从画面外观中推断的,是表示本身的一部分。架构上分三个组件:JST encoder(把图像编码为物理原生 token)、JST generator(从多模态 prompt 直接生成 token)、JST decoder(结合视角与运动/力输入,解码为图像或 3D 高斯泼溅)。

Viggle 花四年(JST-1 在 2022–2024,JST-2 在 2024–2026)自建了全栈:tokenization、架构、数据合成引擎、预训练和后训练。自建数据引擎很重要,因为 3D 原生的训练数据在自然界几乎不存在,必须靠合成获得,这既是壁垒,也是成本。

能力面:一条架构统一三件事
· 场景生成:单次前向推理约 1 秒生成完整 3D 场景,成本 <$0.01(B200),无需逐场景优化;支持最多 64 个输入视角作为“空间上下文窗口”,可持续扩展同一世界
· 角色生成:单张图片(允许裁切/遮挡)或文本生成 3D 角色,动力学直接从数据学出,跳过绑定(rigging)和蒙皮(skinning)
· 运动生成:文本或视频驱动全身 3D 运动;视频模式下能重建可见部分、推断被遮挡的身体部位
· 场景重建:从稀疏真实观测重建完整 3D 环境,指向机器人仿真、自动驾驶、测绘场景

基准:盲测人类评估,且是对手擅长的战场
Viggle 公布的是盲测人类偏好对比(数字为 JST-2 胜率):
· 角色生成:胜 Meshy 7.1(58.4%)、Tripo H3.1(73.2%)
· 动画就绪度:胜 Meshy 73.8%、Tripo 88.9%,优势集中在手部绑定与变形质量
· 文本生成运动:胜 Cartwheel Swing 74.8%、HY-Motion-1.0(应该是 Hyper3D)80.0%
· 视频生成运动:胜 Cartwheel 58.1%、DeepMotion 89.1%,手部追踪胜率高达 95%

JST-3 的未来路线图:从“会动的 3D”到“学出来的物理”
JST-2 中,角色的运动是学习到的动力学驱动的(这是它跳过绑定/蒙皮的原因),但物体之间的交互仍是规则模拟。JST-3 的目标是把学习动力学推广到物体交互,用学习到的物理替代基于规则的仿真。

最终愿景表述得很明确:为物理 AI 服务的“体验引擎”,智能体在模拟世界中通过行动和观察后果来学习。这本质上是对“机器人训练数据从哪来”这个问题的回答,与 NVIDIA Cosmos、Genesis、Google 的世界模型研究瞄准的是同一个终局,但入场角度是 3D 原生表示而非视频生成。

引用ViggleAI@ViggleAI
Today we are releasing JST-2, the world's first full-stack physics-native world foundation model. Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D. Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.
在 X 查看被引用的帖子

来源:meng shao · x.com