小米汽车发布 Xiaomi Auto World Model 世界模型全新框架：重建 + 生成一体化，主流基准测试全面 SOTA

Xiaomi Auto World Model则是提出一个全新的整合框架，将重建模块与生成模块深度耦合，让两者在结构上互相约束。重建提供 3D 几何作为结构化锚点，约束生成过程的稳定性；生成则把预测能力延伸到观测之外，弥补重建的边界。两者形成闭环、互相增益，从三个关键维度实现了“1+1>2”的协同增益：

• 高稳定性：WorldRec 的确定性几何约束，有效抑制长时序自回归中的误差累积与内容漂移。

• 高一致性：4D 场景表征作为跨帧共享记忆，确保不同时刻、不同视角下场景内容全局一致。

• 高真实性：WorldGen 以 WorldRec 渲染的 RGB 图像为几何骨架，使合成内容既符合物理布局，又贴近真实传感器观测，显著缩小了“仿真-现实”的领域鸿沟。

▲ WorldGen 的极端场景效果

Xiaomi Auto World Model 已经在小米汽车三大实际场景中落地：

• 合成数据生成：已交付超过 10 万 clips 高质量合成数据，直接用于感知模型训练，提升车辆在危险场景下的识别能力。

• 仿真测试：构建闭环仿真环境，优化测试效率，完备测试规范，可在仿真中复现真实事故进行定向优化。

• 辅助驾驶学堂：利用世界模型动态生成第一人称驾驶教学视频，用户面对复杂路况时，系统以生成式视频展示正确操作。目前已经上线小米全车型的辅助驾驶学堂 - 实景模拟场景。

IT之家附相关技术主页与论文链接如下：

• 技术主页：https://JointWM.github.io/

• 论文链接：https://arxiv.org/pdf/2605.18137