SimWorld Studio:基于进化编码智能体的具身智能学习环境自动生成平台

HuggingFace Daily Papers(社区热门论文)·2026-05-10 08:00·134天前
AI 导读

SimWorld Studio是一个基于Unreal Engine 5的开源平台,旨在为具身智能体学习自动生成动态演化的3D交互环境。其核心是工具增强的编码智能体SimCoder,它能根据指令编写引擎代码来构建物理真实的世界,并通过验证反馈自我进化,修正环境并积累可复用技能。生成的环境以标准化接口导出供智能体训练。平台还实现了环境生成与智能体学习的协同进化:根据智能体表现反馈,SimCoder在其能力边界附近生成自适应课程,使环境难度随智能体进步而提升。在具身导航案例中,该方案显著提升了智能体的泛化性能。

HuggingFace Daily Papers(社区热门论文)
精选
74AI 编辑部评分,满分 100

SimWorld Studio:基于进化编码智能体的具身智能学习环境自动生成平台

2026-05-10 08:00· 134天前
AI 导读

SimWorld Studio是一个基于Unreal Engine 5的开源平台,旨在为具身智能体学习自动生成动态演化的3D交互环境。其核心是工具增强的编码智能体SimCoder,它能根据指令编写引擎代码来构建物理真实的世界,并通过验证反馈自我进化,修正环境并积累可复用技能。生成的环境以标准化接口导出供智能体训练。平台还实现了环境生成与智能体学习的协同进化:根据智能体表现反馈,SimCoder在其能力边界附近生成自适应课程,使环境难度随智能体进步而提升。在具身导航案例中,该方案显著提升了智能体的泛化性能。

推荐理由

具身智能体一直缺训练环境,这个开源平台能自动生成并自我进化,机器人学走路可能终于不用靠手撸场景了,做仿真和机器人的该看一眼。

正文 · AI 翻译

基于大语言模型/视觉语言模型的数字智能体,得益于用于编码、网页导航和计算机操作的可扩展沙盒环境(这些环境提供了丰富的交互式训练场),已取得快速进展。相比之下,具身智能体仍然缺乏丰富、多样且可自动生成的3D环境来进行交互式学习。

现有的具身模拟器依赖于人工构建的场景或程序化模板,而近期基于大语言模型的3D生成系统主要生成静态场景,而非带有可验证任务和标准学习接口的可部署环境。我们推出了SimWorld Studio,这是一个基于虚幻引擎5构建的开源平台,用于生成不断演化的具身学习环境。

其核心是SimCoder,一个经过工具/技能增强的编码智能体,它能够编写并执行引擎级代码,从而根据语言/图像指令构建物理上合理的3D世界。SimCoder通过利用验证器反馈(例如编译错误、物理检查、视觉语言模型批评)来修改环境,并自主地将可复用的工具和技能添加到其库中,从而实现自我进化。

生成的世界被导出为Gym风格的环境,用于具身智能体的学习。SimWorld Studio进一步实现了环境生成与具身学习之间的协同进化:智能体性能反馈引导SimCoder在学习者能力边界附近生成自适应课程,使得随着具身智能体的提升,环境难度也逐步增加。

三项关于具身导航的案例研究表明,自我进化提升了生成的可靠性;生成的环境显著提升了具身智能体的性能,且该性能可泛化至未见过的基准测试;协同进化相较于固定环境学习带来了18个百分点的成功率提升,相较于未经训练的智能体则带来了40个百分点的提升。

来源:HuggingFace Daily Papers(社区热门论文)· arxiv.org