VISTA：面向具身智能体自我改进的主动探索
论文提出VISTA元智能体框架，把具身智能体的事后rollout反思改为主动自我探索：维护记录harness谱系的harness图，使元智能体可检索先前假设、复用有效机制并避免重复失败方向；每轮从保留的harness版本及其执行证据出发，在环境中自主生成新rollout、探查失败与恢复行为，据此迭代修改harness并重新评估入图。在LIBERO-Pro、RoboCasa、RoboTwin三个基准上，VISTA逐步提升任务成功率，且比静态反思更省rollout，以更少仿真器rollout取得更高成功率。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《VISTA: Active Exploration for Self-Improvement in Embodied Agents》查看原链
摘要：智能体式具身智能在开放式动态物理环境中具有基础性作用。 近期研究显示，具身系统不仅依赖预训练基础模型，也依赖harness（执行框架），而非将策略学习视为从指令到动作的端到端映射。 此前方法大多把rollout（执行轨迹）当作静态日志用于事后反思，产生的harness更新没有通过后续具身交互进行自主测试与改进。
为此，我们提出VISTA，一个元智能体框架，将事后rollout反思转化为面向具身harness改进的主动自我探索。 具体而言，VISTA维护一个harness图，记录所提出harness的谱系，使元智能体能够检索先前的假设、在有效机制上继续构建，并避免重复探索失败方向。
每次迭代从保留的harness版本及其执行证据出发。 元智能体不直接从这些历史轨迹提交更新，而是在环境中主动探索：自主生成新的rollout，探查执行失败与恢复行为，并基于所得证据迭代修改harness。 改进后的harness随后重新评估并加入harness图。
我们在LIBERO-Pro、RoboCasa和RoboTwin基准上评估VISTA。 实验结果表明，VISTA逐步提升任务成功率，且比静态反思更具rollout效率，以更少的仿真器rollout获得更高成功率。