面向错误恢复的重规划：通过可验证交互与动作分组Turn-GSPO训练具身VLM
作者提出具身恢复重规划环境ERR-Env，为任务进度与执行错误提供反馈，并构建覆盖正常、中间与错误状态的留出任务基准ERR-Bench。其在线强化学习方法AGT-GSPO结合回合级奖励与动作分组优势估计，训练出2B参数的具身VLM ERR-VLM。在ERR-Bench上，ERR-VLM的无错误完成严格成功率提升10.25个百分点，恢复率提升22.95个百分点；评估还显示多种VLM的任务进度与执行可靠性存在不匹配。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Replan for Error Recovery: Training Embodied VLMs through Verifiable Interaction with Action-Grouped Turn-GSPO》查看原链
具身视觉语言模型（VLM）能执行日益复杂的操作任务，但执行错误可能使环境进入需要重规划才能恢复的状态。 现有恢复方法要么依赖推理阶段固定策略的机制，要么从失败样例和参考纠正中学习，而非从经过验证的动作结果中学习。 为通过可验证交互实现恢复学习，作者提出具身恢复重规划环境ERR-Env，提供任务进度与执行错误反馈；并构建ERR-Bench基准，包含覆盖正常、中间与错误状态的留出任务，用于评估恢复能力与执行可靠性。
作者进一步提出动作分组Turn-GSPO（AGT-GSPO），一种在线强化学习方法，结合任务进度与错误状态的回合级奖励以及动作分组优势估计，并用其训练紧凑型2B具身VLM——ERR-VLM。 在ERR-Bench上的评估显示，多种VLM的任务进度与执行可靠性之间存在不匹配；AGT-GSPO使ERR-VLM在无错误完成的严格成功率上提升10.25个百分点，恢复率提升22.95个百分点，消融实验与零样本迁移进一步验证了方法有效性。