SimPT：面向基于干预的VLA后训练的自动化仿真框架
研究提出SimPT仿真框架，将策略推演、纠正数据采集、策略训练与独立评估整合，实现基于干预的VLA后训练自动化。其Agent-Compiled Progress Graph利用仿真器特权状态跟踪任务进度并保留稳定快照，失败后由CuRobo专家从快照尝试恢复，使恢复尝试次数较固定间隔基线减少75.0%，恢复成功率从93.4%升至98.9%。在七个RoboTwin操作任务上比较RECAP、HG-DAgger、DPO+SFT、FlowPRO四种方法；改进版RECAP-CF-LPF在留出仿真试验中把成功率从76.50%提升至79.36%，在真实机器人以太网线插入任务25个场景中从72%提升至96%。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SimPT: An Automated Simulation Framework for Intervention-Based VLA Post-Training》查看原链
人类在环（HIL）后训练通过专家纠正来改进视觉-语言-动作（VLA）策略，但昂贵的人工监督和反复的真实机器人评估限制了算法探索与开发。 我们提出SimPT（基于仿真的后训练），这是一个仿真框架，通过整合策略推演、纠正数据采集、策略训练和独立评估，实现基于干预的VLA后训练自动化。
为了自动确定干预时机和恢复策略，我们开发了Agent-Compiled Progress Graph，它利用仿真器的特权状态跟踪任务进度，并在策略执行期间保留稳定快照。 当一次推演失败后，基于CuRobo的专家会尝试从这些快照中恢复，从更靠后的任务阶段开始，并按需回退到更早阶段，以生成纠正轨迹。
我们在七个RoboTwin操作任务上实现并比较了四种后训练方法：RECAP、HG-DAgger、DPO+SFT和FlowPRO。 相对于固定间隔快照基线，Progress Graph将恢复尝试次数减少75.0%，并将恢复成功率从93.4%提升至98.9%。
借助SimPT，我们开发了RECAP-CF-LPF，这是对RECAP的改进，结合了交叉拟合与价值预测的低通滤波。 该改进在留出仿真试验中将总体成功率从76.50%提升至79.36%。 在真实机器人HIL后训练中，它在以太网线插入任务的25个场景中将成功率从72%提升至96%。
这些结果证明了SimPT在探索和开发VLA后训练算法方面的实用性。