OMAR：面向场景条件货架整理的开放世界多属性推理
论文提出OMAR流程：视觉语言模型为未知物体生成标签及内容、包装类型等属性，经分割、深度与多视图关联完成跨视图定位，构建实例级3D场景图；再由LLM在该表示上推理货架潜在组织方式，对场景一致的放置位置排序，无需用户提供偏好，排序结果用于后续几何与运动学可行性检查。实验显示，该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线，可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《OMAR: Open-World Multi-Attribute Reasoning for Scene-Conditioned Shelf Organization》查看原链
随着基础模型的出现，机器人越来越能够理解和执行明确指定的人类任务。 然而，要将这些能力扩展到开放式任务，机器人需要从观察到的场景中推断出合适的动作。 家庭整理正是这一挑战的典型例子，因为机器人常常需要在没有详细指令、没有预定义物体词汇表、也没有已知物体与容器关联关系的情况下行动。
虽然机器人可以遵循指令或从演示中学习整理偏好，但推断一个偶尔变化的场景的潜在组织方式，并将新物体以与之一致的方式放置，仍然具有挑战性。 我们提出了一种开放世界多属性推理流程，它跨视图对未知物体进行定位，并构建实例级3D场景图以进行放置推理。
首先，视觉语言模型提出标签以及内容和包装类型等属性，这些标签和属性通过分割、深度和多视图关联进行定位。 然后，一个LLM基于这一表示进行推理，以推断潜在的货架组织方式，并对场景一致的物体放置进行排序，而无需用户明确提供偏好。 由此产生的放置排序指导后续的几何和运动学可行性检查以执行。
我们的实验评估表明，与单视图语言定位和仅几何基线相比，我们的方法在实例映射和放置一致性方面有所改善，能够在没有预定义物体与容器映射或类别特定重新训练的情况下，自主放置以前未见过的物体。