面向部分观测下机器人双臂操作软质衣物的上下文学习世界模型
研究提出一种软物体世界模型，用在大规模仿真软物体交互数据上训练的 Transformer 主干网络，执行生成式全状态估计和以动作为条件的动力学预测，并采取措施缓解仿真到现实的差距。模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索，无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式，并与目标条件动作规划器集成进行运动合成。作者在仿真和真实世界中针对双臂衣物折叠验证该方法，报告重建保真度、预测准确性和任务成功率均有提升。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《In-Context Learning World Models for Robot Dual-Arm Manipulation of Soft Garment with Partial Observations》查看原链
arXiv:2610.30988v1 公告类型：新论文 摘要：对衣物等软质物体的稳健操作是服务机器人和家用机器人需要掌握的关键技能，但由于其高维状态空间和依赖材料的形变，这一任务仍具挑战性。 人类通过心智世界模型来应对这一挑战：从部分观测中“想象”物体的形状与材料属性，从而预测动作如何影响未来状态。
因此，将此类世界模型嵌入机器人，可提升其在真实世界中操作各类衣物时的泛化能力。 然而，学习得到的世界模型通常需要大量难以采集的真实世界数据，还需要一种推断支配动力学潜在属性的机制。 我们提出一种软物体世界模型，使用基于大规模仿真软物体交互数据训练的 Transformer 主干网络，执行生成式全状态估计和以动作为条件的动力学预测，并采取措施缓解仿真到现实的差距。
该模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索，无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式。 随后，该世界模型与目标条件动作规划器集成以进行运动合成。 我们在仿真和真实世界中针对双臂衣物折叠验证了该方法，报告了在重建保真度、预测准确性和任务成功率方面的提升。