PhysCanvas：用于机器人策略评估与学习的视觉-触觉世界模型
PhysCanvas 是一个状态一致的视觉-触觉世界模型，将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间，共享视频 VAE 与预训练生成主干。其一致性感知后训练使用冻结的场景、模态与状态奖励模型进行监督。在四个真实操作任务中，世界模型推演与真实成功率的任务级皮尔逊相关系数均值由 0.602 升至 0.885；在奖励引导世界模型中后训练使 π0.5 真实成功率从 59.1% 的 SFT 基线提升至 70.8%。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning》查看原链
arXiv:2610.28613v1 公告类型：新论文 摘要：通过物理交互评估和后训练机器人策略成本高昂且难以规模化，这促使以动作为条件的世界模型被用作交互式模拟器。 然而，视觉上看似合理的预测可能错误地反映接触动力学，从而为策略评估和学习提供不可靠的反馈。
我们提出 PhysCanvas，一种状态一致的视觉-触觉世界模型，用于接触丰富的机器人操作。 PhysCanvas 将多视角 RGB、触觉图像、标记位移、任务状态和动作统一在一个视觉空间中。 所有模态共享一个视频 VAE 和预训练生成主干，使光学触觉能够复用视觉和时间先验。
通过正向运动学和相机投影得到的运动图像提供空间对齐的动作条件，而初始 RGB 锚点和更新的参考观测引导序列生成。 我们的一致性感知后训练使用冻结的场景奖励模型、模态奖励模型和状态奖励模型，分别监督场景保持、视觉-触觉兼容性以及与真实任务结果的一致性。
由此得到的世界模型支持用于评估的闭环策略推演，并为 GRPO 策略更新提供想象的交互和奖励。 在四个真实世界操作任务中，当策略在世界模型中推演时，状态奖励模型监督将世界模型与真实世界成功率之间任务级皮尔逊相关系数的算术平均值从 0.602 提高到 0.885。
在奖励引导的世界模型中进行策略后训练，进一步将 π0.5 的平均真实世界成功率从 59.1% 的 SFT 基线提高到 70.8%。 这些结果证明了统一多模态建模和一致性感知后训练在机器人策略评估与学习中的价值。 项目页面：https://zebinx.github.io/PhysCanvas_HomePage/。