跳到主要内容
Evolvant
订阅

CausGround:面向自适应具身规划的因果交互接地

作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。

发布于 10-22 13:00来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《CausGround: Causal Interaction Grounding for Adaptive Embodied Planning》查看原链

多模态大语言模型(MLLM)具备推理能力,但可靠的物理交互需要规划时考虑动作何时可执行以及动作如何改变世界。 这些前置条件与效果依赖环境,MLLM 往往无法捕捉,导致适应困难。 现有方法要么需要昂贵的环境特定训练,要么依赖难以复用的非结构化交互经验。

为此,作者提出 CausGround,一个非参数化因果交互接地框架,将交互经验蒸馏为可复用的、以动作为中心的因果知识。 CausGround 识别动作前置条件与效果,并以分解式世界状态表示组织,捕捉物体属性与物体间关系。 规划时,任务相关的因果依赖被接地到当前观测,支持对前置条件的反向推理与对效果的正向推理,用于动作选择与多步规划。

作者在模拟高层规划、交互推理与真实机器人操作上评估 CausGround。 在适配的 VirtualHome 与 RoboCasa 基准上,CausGround 在多种 MLLM 骨干上提升基于视觉的高层规划,VirtualHome 平均任务成功率从 24.9% 提升至 53.3%,RoboCasa 闭环规划成功率从 43.0% 提升至 57.0%。

在 SWITCH 上,平均交互推理准确率从 25.8% 提升至 31.9%,表明动作选择、恢复与验证有所改善。 真实世界实验显示,CausGround 从 MLLM 解释的目标反向推理,得出可执行的高层动作序列以完成顺序操作。 结果表明,可复用的动作前置条件与效果无需参数更新即可支持跨多样环境的长时程具身规划。

来源arXiv cs.ROen原文发布 10-22访问原文