Labference：评测机器人实验室中推理与动作的关联
arXiv 发布 Labference 基准，用于评估机器人实验室中观察到的物理执行结果如何影响后续操作选择，以及这些选择如何转化为实际动作。其评估协议通过受控的证据变化测试依赖结果的行为适应，并分别测量操作选择、物理执行与任务完成；同时从共享检查点出发，用匹配的 Oracle 辅助续接评估哪些支持能改善后续选择。初步评估显示，被测 VLA 策略虽能成功转移物体，但存在目标选择错误；GPT 驱动的控制能正确选择，却出现执行失败和较高计算开销。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Labference: Benchmarking the Reasoning-Action Connection in Robotic Laboratories》查看原链
摘要：实现面向科学的具身智能需要机器人将实验目标转化为可靠的物理操作流程，减少危险和重复的人工劳动，同时为科学发现生成证据。 尽管基于语言的规划与习得操作能力互补，但二者的整合要求机器人根据实际执行结果调整后续操作。 例如，放置失败会改变接下来必须做什么，即使实验目标保持不变。
现有基准通过任务完成度和推理或执行指标来评估规划、操作和实验室工作流；然而，聚合性能无法揭示依赖结果的选择与物理执行之间的关联。 为填补这一评估空白，我们提出 Labference，一个用于评估观察到的物理结果如何引导后续选择、以及这些选择如何转化为机器人实验室动作的基准。
其评估协议通过受控的证据变化来测试依赖结果的行为适应，同时独立测量操作选择、物理执行和任务完成。 随后，从共享检查点出发的匹配 Oracle 辅助续接用于评估哪些形式的支持能改善后续选择和任务完成。 初步加权评估显示，被测 VLA 策略尽管成功转移了物体，却存在目标选择错误；而 GPT 驱动的控制虽能正确选择，却遭遇执行失败和大量计算开销。
这些发现共同表明，需要将任务适配的推理与可靠、及时的动作连接起来。 通过使这一连接可测量、可诊断，Labference 支持面向具身智能科学自主实验的针对性改进。