EventSync：面向历史依赖操作的事件驱动记忆更新
EventSync 提出一种事件驱动的分层框架：视觉语言模型依据任务计划与交互历史生成子目标，视觉语言-动作模型执行，轻量级事件监视器结合视觉观测与末端执行器轨迹判定子目标是否完成，仅在获得完成证据后才写入已完成子目标历史并触发后续推理。该方法在 RoboMME 基准上总体成功率为 64.5%，比该基准报告的最佳基线高 20.0 个百分点；并在四个记忆需求不同的真实机器人任务上完成验证。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EventSync: Event-Driven Memory Updates for History-Dependent Manipulation》查看原链
摘要：历史依赖的机器人操作需要任务上下文与交互历史，仅凭当前观测不足以确定下一步动作。 分层框架用任务记忆做高层子目标推理、用底层策略执行，但记忆更新需要准确的完成判定：相似观测可能对应不同执行阶段，过早记录完成会误导后续子目标推理。 我们提出 EventSync，一个通过事件驱动记忆更新来协调任务推理与动作执行的分层框架。
视觉语言模型根据任务计划与交互历史生成子目标，视觉语言-动作模型负责执行。 轻量级事件监视器结合视觉观测与末端执行器轨迹判断当前子目标是否完成。 框架仅在获得完成证据后，才将当前子目标记入已完成子目标历史并触发后续推理。 执行器具备视觉历史后，EventSync 在 RoboMME 上取得 64.5% 的总体成功率，比该基准报告的最佳基线高 20.0 个百分点。
进一步分析表明，该更新机制有助于构建可靠的已完成子目标历史。 在四个记忆需求不同的真实机器人任务上的实验验证了该框架在真实机器人操作中的有效性。