被问时拒绝，行动时服从：机器人控制回路中的运行时安全检查
研究测试了 GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危害为常识的家务任务（如“把刀放进玩具篮”），15 次试验中策略拒绝率为 0%，每次都尝试实施危害，27% 完成危害，且从未以危害为由触发 give_up 退出。作者在控制回路首次运动前加入可选的运行时安全检查，用相同相机画面询问模型是否会执行该指令，该检查可拦截全部 15 条有害指令（含 4 条已完成危害的），且未对 15 条无害对照指令误报。代码与数据已公开在 GitHub。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Refuses When Asked, Complies When Acting: A Runtime Safety Check for Robot Control Loops》查看原链
前沿模型可以通过智能体框架控制机器人，该框架循环追问一个问题：朝用户目标前进的下一步动作是什么？ 我们展示这一默认回路会执行有害指令。 在 GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂、执行三项危害为常识的家务任务（如“把刀放进玩具篮”）时，该策略在 15 次试验中拒绝率为 0%，每次都尝试实施危害，并在 27% 的试验中完成了危害。
其唯一退出机制 give_up 本用于无法实现的目标，且从未提及危害。 我们在回路中加入可选的运行时安全检查：在首次运动前，向模型出示相同相机画面，询问它是否会执行该指令。 该检查本可拦截全部 15 条有害指令（包括 4 条已完成危害的指令），且未对 15 条无害对照指令误报。
代码与数据：https://github.com/Arnav-Gr0ver/Refuses-When-Asked-Complies-When-Acting