跳到正文

技术方向

具身智能 最新动态

AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。

106 条精选近 30 天 2 条共收录 1,844 条

更新

精选归档 · 第 5 页

4月14日周二第 81–100 条
  1. Google DeepMind:Blog68

    Gemini Robotics-ER 1.6:通过增强具身推理赋能真实世界机器人任务

    Gemini Robotics-ER 1.6 正式发布,通过增强具身推理能力为真实世界机器人任务提供底层支持。该版本重点升级空间推理与多视角理解功能,使自主机器人能够更精准地解析三维环境、理解物体间空间关系,并在复杂场景中实现高效决策与操作执行,显著提升机器人在物理世界中的感知与交互性能。

    推荐理由:Gemini Robotics-ER 1.6 在机器人推理上迈了一大步,仪器读取和多视角成功检测是真需求,尤其是波士顿动力集成后,做具身智能的团队值得第一时间测试。

4月1日周三
3月10日周二
  1. Yann LeCun

    AMI Labs 宣布获 10.3 亿美元种子轮融资,由 Cathay Innovation、Bezos Expeditions 等领投,创欧洲公司种子轮纪录。公司致力于开发基于世界模型的新型 AI 系统,具备理解世界、持久记忆、推理规划及可控安全能力,团队分布于巴黎、纽约、蒙特利尔和新加坡。

    引用AMI Labs@amilabs

    Advanced Machine Intelligence (AMI) 正在打造新一代 AI 系统,它们能够理解世界、拥有持久记忆、可以推理和规划,并且可控且安全。 我们从相信我们以世界模型为核心的通用智能系统愿景的全球投资者那里筹集了 10.3 亿美元(约 8.9 亿欧元)的一轮融资。本轮融资由 Cathay Innovation、Greycroft、Hiro Capital、HV Capital 和 Bezos Expeditions 共同领投,并有来自世界各地的其他投资者和天使投资人参与。 我们是一支不断壮大的研究者和构建者团队,从第一天起就在巴黎、纽约、蒙特利尔和新加坡运营。 阅读更多:https://amilabs.xyz/ AMI - Real world. Real intelligence.

    推荐理由:图灵奖得主LeCun创立AMI Labs,获10亿美元种子轮融资押注世界模型

  2. Saining Xie

    我与 @ylecun 和一群杰出人士联手创立 AMI Labs @amilabs。

    引用AMI Labs@amilabs

    Advanced Machine Intelligence (AMI) 正在打造新一代 AI 系统,它们能够理解世界、拥有持久记忆、可以推理和规划,并且可控且安全。 我们从相信我们以世界模型为核心的通用智能系统愿景的全球投资者那里筹集了 10.3 亿美元(约 8.9 亿欧元)的一轮融资。本轮融资由 Cathay Innovation、Greycroft、Hiro Capital、HV Capital 和 Bezos Expeditions 共同领投,并有来自世界各地的其他投资者和天使投资人参与。 我们是一支不断壮大的研究者和构建者团队,从第一天起就在巴黎、纽约、蒙特利尔和新加坡运营。 阅读更多:https://amilabs.xyz/ AMI - Real world. Real intelligence.

    推荐理由:LeCun联手谢赛宁获贝佐斯投资10亿美元押注世界模型,AGI路线之争再添变数

3月9日周一
  1. Hugging Face 社区博客71

    LeRobot v0.5.0: 扩展每一个维度

    Hugging Face 发布了 LeRobot v0.5.0 版本。该版本在数据集、模型、任务和社区四个维度上进行了全面扩展。具体包括:引入了新的现实世界和模拟数据集,推出了支持多任务学习的模型,并扩展了任务范围至移动操作和双臂协调。社区方面,提供了更易用的库、演示应用和教学资源。此次更新的核心目标是降低机器人技术的应用门槛,推动其民主化发展。

    推荐理由:开源机器人AI框架大版本更新,降低具身智能研发门槛,值得关注落地进展

3月5日周四
  1. Hugging Face 社区博客73

    将机器人AI引入嵌入式平台:数据集记录、VLA微调与设备端优化

    NXP在Hugging Face发布技术博客,详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集,对VLA模型进行针对性微调,以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战,推动机器人AI在边缘端的实际应用。

    推荐理由:嵌入式AI开发者可掌握从数据集记录到设备端优化的全流程实践。

2月27日周五
  1. Saining Xie

    Project Solaris提出世界建模的本质在于全局共享状态而非局部像素渲染,推出基于Minecraft的多人在线视频世界模型。该系统突破单智能体视角局限,支持任意数量智能体随时介入交互,实现持久化世界状态演化。核心包含三大组件:Solaris Engine多人数据收集系统、基于DiT架构的Solaris Model(采用新型内存高效自强制设计,训练于1260万帧协调游戏数据)、以及使用VLM评判的Solaris Eval评估体系。这一范式转变为构建神经MMORPG服务器奠定基础。

    引用Oscar Michel@ojmichel4

    📢当前的世界模型并没有真正在建模世界;它们建模的是某一个智能体对世界的视角。部分观测 ≠ 世界状态。 未来的世界模型将独立于任何单个智能体的视角。你将能够在任意时间点“放入”任意数量的智能体,而一个持久的世界状态将随着它们的交互而演化。想象一个神经 MMORPG 服务器。🧵[1/10]

    推荐理由:从单视角到共享全局状态,开源多智能体世界模型或改变AI训练范式

2月26日周四
2月25日周三
2月5日周四
2月4日周三
1月6日周二
  1. Hugging Face 社区博客80

    NVIDIA发布Cosmos Reason 2模型,增强物理AI推理能力

    NVIDIA在Hugging Face上发布了Cosmos Reason 2模型,旨在提升物理AI系统的推理能力。该模型通过改进的推理架构,使AI能更准确地理解和预测物理世界的动态与交互,核心升级包括对复杂场景的多步推理、不确定性量化及时间序列数据的深度理解。这一进展将推动机器人、自动驾驶等领域的发展,使AI在现实环境中的决策更可靠、更符合物理规律。

    推荐理由:物理AI推理能力升级,机器人和具身智能落地的关键拼图

12月29日周一
12月24日周三
10月24日周五
  1. Hugging Face 社区博客62

    LeRobot v0.4.0 发布:升级数据集 v3.0 并集成 PI0.5 与 GR00T N1.5

    Hugging Face 发布 LeRobot v0.4.0,带来 LeRobotDataset v3.0(分块 episode 格式,支持 OXE 级 >400GB 数据集)、数据集编辑 CLI、LIBERO 与 Meta-World 仿真支持、基于 Accelerate 的多 GPU 训练,以及新插件系统简化第三方硬件接入。

    推荐理由:官方发布全文列出 LeRobot v0.4.0 的数据集、VLA 模型、仿真基准与硬件插件等更新,读者可按需挑用对应能力。

8月5日周二
  1. Jim Fan

    NVIDIA发布DreamGen引擎(GR00T Dreams),将Sora/Veo等视频生成模型用作神经物理引擎,通过微调模型、模拟并行世界、恢复伪动作、训练基础模型四步流程,为机器人生成大规模合成训练数据。人形机器人仅凭单一拾放任务即可学会倾倒、折叠等22种新行为,在新动词和陌生环境中实现零样本泛化(成功率分别达43%和28%)。相比传统图形引擎,该方法以恒定计算成本处理可变形物体、流体等复杂交互,团队计划数周内完全开源。

    引用Jim Fan@DrJimFan

    如果机器人能在视频生成模型内部做梦会怎样?我们推出 DreamGen,这是一种全新引擎,它不依赖成群的人类操作员,而是借助以像素为单位的数字梦境来规模化机器人学习。DreamGen 生成海量的神经轨迹——即与电机动作标签配对的逼真机器人视频——并解锁了对新名词、新动词和新环境强大的泛化能力。无论你是人形机器人(GR1)、工业机械臂(Franka),还是一个可爱的小机器人(HuggingFace SO-100),DreamGen 都能让你做梦。 像 Sora 和 Veo 这样的视频生成模型本质上是神经物理引擎。通过压缩数十亿条互联网视频,它们学习到了一个包含无数可能的未来的多重宇宙——即从任意初始图像帧出发,世界可能如何展开的叠加态。DreamGen 通过一个简单的四步方案利用了这种能力: 1. 在目标机器人上微调一个 SOTA 视频模型; 2. 用多样化的语言提示词提示模型,模拟平行世界:你的机器人在新场景中会如何行动。过滤掉那些不遵循指令的坏梦(哈!); 3. 利用逆动力学或潜在动作模型恢复伪动作; 4. 在經過大规模增强的神经轨迹数据集上训练机器人基础模型。 就这么简单。只是更多的数据,以及纯粹的旧式监督学习。很简单,对吧? 令人惊叹的是它的效果能走多远。仅从一个单任务的“拾取-放置”数据集出发,我们的人形机器人学会了 22 种新行为,例如倒水、折叠、舀取、熨烫和锤击,尽管它从未见过这些动词。更棒的是,我们可以把机器人从实验室带出来,放到 NVIDIA 总部咖啡馆里,让 DreamGen 施展它的魔法。我们展示了真正的从零到一的泛化:新动词的成功率从 0% 提升到超过 43%,在未见过的环境中从 0% 提升到 28%。 与传统的图形引擎相比,DreamGen 并不在乎场景是否涉及可变形物体、流体、半透明材质、高接触交互或疯狂的光照。手工构建这些场景可不容易。对于 DreamGen,每个世界都只是通过扩散神经网络的一次前向传播。无论梦境多复杂,展开它所需的计算时间都是恒定的。 立即阅读我们的博客和论文!我们计划在未来几周内完全开源整个管道。链接在帖子中。

    推荐理由:NVIDIA提出用视频生成模型为机器人“造梦”合成训练数据,实现零样本技能泛化

  2. Jim Fan

    物理AI评估无法靠实车碰撞测试完成,传统游戏引擎(sim 1.0)也难以覆盖所有边缘情况。基于神经网络的sim 2.0由数据驱动,随车队规模扩展。Tesla已应用多年,用于生成近正面碰撞等罕见危险场景的训练数据,补充800万辆实车难以采集的极端案例。

    引用Elon Musk@elonmusk

    @DrJimFan 特斯拉已经拥有这个功能好几年了。用于创建不寻常的训练样本(例如近乎正面碰撞),即使现场有800万辆车也需要补充数据,尤其是随着我们的汽车变得越来越安全,危险情况变得非常罕见。

    推荐理由:Jim Fan 指出物理 AI 评估难题,提出神经网络驱动的 Sim 2.0 数据飞轮方案

7月26日周六
7月19日周六
7月14日周一