规模与选择：自动Harness进化如何为视觉界面机器人智能体奏效
研究提出用另一个编码智能体（优化器智能体）自动改进视觉界面机器人智能体的harness（提示词、工具与控制规则）。实验显示：每轮rollout数从5增至100可提升留出集成功率，小批次会过拟合；采用Champion-Challenger规则（仅在相同固定用例上胜过现任版本才采纳修订）后，LIBERO任务留出集成功率在30轮内从51%升至67%。将进化harness与预训练策略结合并用多教师在线策略蒸馏回策略，得到独立策略在RoboCasa365官方协议下达62.2%，较起点高4.8个百分点；叠加进化harness后在排行榜基准达71.2%，比最佳已发表条目高13.1个百分点。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents》查看原链
当现成的编码智能体被直接用作机器人策略，通过截图观察基于浏览器的3D界面，并通过少量工具摆出虚拟目标夹爪来行动时，该智能体的harness（其提示词、工具和控制规则）在很大程度上决定了成功与否，而迄今为止这一harness一直是手工编写的。
我们证明，这一harness可以由另一个编码智能体（优化器智能体）自动改进，并报告了关于其奏效原因的两项发现。 第一，优化器智能体每轮看到的rollout数量决定了进化出的harness能否泛化：在轮数固定的情况下，随着训练批次从5个rollout增加到100个，留出集成功率上升，而小批次会过拟合训练任务。
第二，不能给优化器智能体完全的自由。 接受它提出的每一项修订会在几轮内使harness退化；一种简单的Champion-Challenger规则——仅当修订在相同的固定用例上胜过现任版本时才将其提升——将同一循环转变为在30轮内把LIBERO任务上的留出集成功率从51%提升到67%的循环。
进化出的harness也是附加预训练策略的自然位置，通过一个工具将控制权交给它。 用多教师在线策略蒸馏将该组合的rollout蒸馏回策略，在官方协议下得到一个在RoboCasa365上达到62.2%的独立策略，比其起点高4.8个百分点，且推理时无harness；在蒸馏策略之上叠加进化出的harness，在RoboCasa365排行榜基准上达到71.2%，比最佳已发表条目高13.1个百分点，而当harness进化在更强的策略上恢复时，循环闭合。
因此，视觉界面机器人智能体的自动harness进化是可行的，但其收益取决于每个决策背后的rollout规模和优化器智能体修订的选择方式。