从VLM规划器到机器人智能体：面向历史依赖操作的自进化执行框架
研究提出SERA（自进化机器人智能体）：将高层VLM组织为机器人智能体，通过可编辑执行框架维护任务上下文，并用观测与执行反馈更新上下文以指导后续规划；低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订，选定配置在留出测试前固定。在RoboMME基准上，SERA自主选择配置的总体成功率为51.38%，无自进化时为44.38%。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation》查看原链
视觉-语言-动作（VLA）模型通过统一视觉理解、语言条件与动作生成，在具身操作任务中表现良好。 但长时程任务可能涉及非马尔可夫依赖：成功决策可能需要保留任务进度与过往交互结果，而部分可观测性与执行误差会随时间累积。 已有工作通过为基座模型策略增加记忆、引入将高层规划与低层执行分离的分层架构来应对这些挑战。
我们将高层VLM组织为机器人智能体，通过可编辑的执行框架（harness）维护任务上下文，并借助执行经验改进规划。 我们将该方法实例化为SERA（自进化机器人智能体），由固定的VLA执行器提供低层控制。 该框架利用观测与执行反馈维护并更新任务上下文，以指导后续规划。
自进化通过环境推演提出并评估框架修订，选定配置在留出测试前固定。 在RoboMME上，SERA在自主选择下取得51.38%的总体成功率，而无自进化时为44.38%。 我们的探索表明，智能体式规划是历史依赖机器人操作的一个有前景的方向。