基于骨架引导的机器人世界模型潜在动作模型
SkeLAM 将潜在动作分解为两部分：一部分是由机器人骨架监督锚定的运动学分量，另一部分是保留互补视觉动态的残差分量；并通过跨模态交换重建，使 RGB 与骨架导出的运动学表示可以互换。世界模型通过独立条件通路纳入这两个分量，并用分支 dropout 降低对由未来信息导出的残差信息的依赖；轻量适配器将机器人动作映射到运动学空间，再经微调适配预测条件。在 DROID 上，与 DreamDojo 相比，末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%；定性结果显示，生成的 rollout 中可实现零样本的人到机器人运动迁移，策略评估的预测成功率与真机执行结果一致。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Skeleton-Grounded Latent Action Model for Robot World Models》查看原链
arXiv:2610.31474v1 公告类型：新论文 摘要：机器人世界模型模拟环境如何随机器人动作而演化。 潜在动作模型通过将视觉变化编码为代理动作，从而能够从视频中学习动力学。 然而，由重建驱动的潜在动作会将机器人运动与物体响应及其他场景变化混在一起，使其与机器人控制之间的对应关系变得复杂。
我们提出 SkeLAM，一种用于可控机器人世界建模的骨架引导潜在动作模型。 SkeLAM 将潜在动作分解为由机器人骨架监督所锚定的运动学分量，以及保留互补视觉动态的残差分量。 跨模态交换重建促使由 RGB 导出的运动学表示与由骨架导出的运动学表示在视频重建过程中可以互换。
该世界模型通过各自独立的条件通路纳入这两个分量，同时分支 dropout 降低其对由未来信息导出的残差信息的依赖。 一个轻量适配器将机器人动作映射到运动学空间，随后的世界模型微调使生成过程适配这些预测条件。 在推理时，模型根据当前观测和机器人动作生成未来观测。
在 DROID 上，与 DreamDojo 相比，SkeLAM 将末端执行器 ADE 降低 19.5%，将 LPIPS 降低 11.1%。 运动探测支持运动学专门化，定性结果展示了在生成的 rollout 中零样本的人到机器人运动迁移。 策略评估显示，预测成功率与真实机器人执行中测得的结果一致。