SafeDojo：通过交互式世界模型实现VLA的安全强化学习
研究提出 SafeDojo，一种基于模型的安全强化学习框架，在交互式视频世界模型之上对视觉-语言-动作（VLA）策略做在线强化学习：ResNet 成功分类器对预测未来帧打分，轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率，两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点，零样本 Level II 与最强无模型基线相当；真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model》查看原链
arXiv:2606.20698v2 公告类型：替换 摘要：安全控制是具身智能在真实世界中部署的前提，安全强化学习已成为一种有前景的范式。 然而，现有的安全强化学习方法要么需要成本高昂的真实世界探索，要么依赖手工设计的安全函数，二者都无法扩展到部署于开放物理环境中的视觉-语言-动作（VLA）模型。
我们提出 SafeDojo，一种基于模型的安全强化学习框架，通过世界模型想象来改进视觉-语言-动作策略。 SafeDojo 在交互式视频世界模型之上执行在线强化学习。 一个 ResNet 成功分类器对预测的未来帧打分，而一个轻量级安全头从当前潜在上下文和候选动作块预测每一步的接触概率，联合评估任务执行与轨迹安全性。
这些解耦信号通过拉格朗日约束的 GRPO 进行平衡。 在 SafeLIBERO Level I 上，SafeDojo 相比最强基线将平均安全成功率提升 8.25 个百分点；在零样本 Level II 设置下，其表现与最强的无模型基线相当。 真实世界的 Franka 部署进一步显示，在五项任务中取得最佳的平均任务成功率和安全成功率。
这些结果支持基于世界模型的安全强化学习作为通往更安全具身智能的一条有前景的路径。