DynaSlots：面向机器人操作的以槽位为中心的3D动力学预训练
DynaSlots提出一种无需动作标签的3D视觉预训练框架，将每帧点云分解为少量时间一致的槽位，在槽位层面而非场景层面建模动力学，避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型，以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上，其成功率优于场景级基线，并对场景杂乱与未见物体保持鲁棒性，代码已公开。
发布于 10-27 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《DynaSlots: Slot-Centric 3D Dynamics Pretraining for Robot Manipulation》查看原链
机器人操作涉及局部变化：拿起杯子会移动杯子，而周围场景基本保持不变。 然而，现有的3D视觉预训练方法，包括近期具备动力学感知能力的变体，都在场景层面建模状态转移，将场景中所有物体的运动压缩为单一的全局潜在动作。 这会在包含多个运动部件的场景中混淆语义上不同的状态转移，掩盖变化区域之间的依赖关系，并使学习到的表征容易受到与任务无关的场景内容影响。
我们提出DynaSlots，一个无需动作、无需标签的预训练框架，它将每个点云帧分解为一小组时间一致的槽位，并在每个槽位层面而非场景层面建模动力学。 一个时间槽位传播模块促进跨帧的槽位分配一致性；随后，一个逆动力学模型从特征差异中为每个槽位提取一个潜在动作，而一个基于扩散的前向动力学模型与一个自监督交互头配对，在预测每个槽位未来状态的同时学习成对的邻近与运动关系。
在Meta-World、Adroit以及一台RealMan RM65-B机器人上的实验表明，DynaSlots优于先前的场景级基线。 它在仿真中取得了更高的成功率，并在真实世界操作中对场景杂乱和未见物体表现出强鲁棒性。 代码见 https://zhucezhanghao12345-source.github.io/DynaSlots-Anonymous/ 。