开放世界从规律到动作：视觉-语言先验与触觉用于隐藏物理特性的部件
论文提出Open-World Law-to-Action（L2A）框架：视觉-语言模型为每个可动部件提议运动方式、运动规律参数及可能的锁定因素，形成带下限的先验，触觉可随时推翻。机器人用带闭式证据的贝叶斯线性回归在线识别部件运动规律，并保留“未见部件或运动锁定目标”的假设；作者证明仅靠触觉无法排除该假设，并推导出何时值得再次观察。全部实验在仿真中进行，新厨房场景下基于VLM提议的任务完成率为80%，部件全部已知时为98%；所提物理先验使需要新参数的物体成功率从353/400提升至378-383/400，二次观察使混合场景成功率从284/366提升至329/366。
发布于 10-27 12:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Open-World Law-to-Action: Vision-Language Priors and Touch for Parts with Hidden Physics》查看原链
摘要：一个身处从未见过的家中的机器人必须打开门、抽屉、盖子和水龙头，而这些物体的物理特性无法从图像中看出。 诸如“把抽屉轻轻打开一半”这样的指令取决于这些物理特性：部件能移动多远、有多大的阻力，以及是什么锁住了它。 我们提出开放世界从规律到动作（Open-World Law-to-Action，L2A）。
视觉-语言模型（VLM）为每个可动部件提出其运动方式、运动规律中的各项参数，以及可能锁住它的因素。 每个提议都成为一个带有下限的先验，因此触觉始终可以推翻它。 机器人通过带闭式证据的贝叶斯线性回归在线识别每个部件的运动规律，适用于单向或双向运动的部件，并保留一个假设：某个未见过的部件或运动会锁住目标。
我们证明仅靠触觉无法排除这一假设，推导出何时值得付出再看一眼的代价，并表明当部件单向运动时，恒定负载与摩擦无法区分。 所有实验均在仿真中进行，在部分场景上开发，并在留出场景上运行一次。 在新厨房中，机器人基于VLM提议完成任务的比例为80%，而在所有部件均已知时为98%。
所提出的物理特性使需要新参数的物体上的成功率从400次试验中的353次提升到378-383次，而再看一眼使混合场景中的成功率从366个任务中的284个提升到329个。 一个不从仿真器获取任何信息的移动机器人在新场景中完成了100个请求中的70个，而当仿真器告知每个盒子对应哪个部件时为62个（在两次留出测试之间做了一次改动之后）。