PLaCA：学习 patch 级未来潜在变化以生成动作
PLaCA 提出一种世界到动作框架，从当前多模态输入直接预测具有空间结构的 patch 级未来潜在变化，并引入 patch 级变化感知监督与未来到动作接口，将预测变化显式纳入动作生成。在 LIBERO-Long 上成功率达 79.0%，较仅动作基线提升 5.0 个百分点；在 CALVIN 上平均序列长度由 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《PLaCA: Learning Patch-Level Future Latent Change for Action Generation》查看原链
视觉-语言-动作（VLA）模型根据视觉观察和语言指令生成机器人动作，但有效操作还需要预判环境将如何变化。 现有的世界-动作模型探索了未来图像预测和潜在动力学建模。 然而，生成完整的未来图像计算开销大，而高度压缩的潜在表示可能掩盖局部变化。 为解决这些问题，我们提出 PLaCA，一个围绕未来潜在变化构建的世界到动作框架。
PLaCA 直接从当前多模态输入预测具有空间结构的 patch 级未来潜在变化，保留关于预期环境变化的局部信息。 我们引入 patch 级变化感知监督，以强调变化较大的区域，并设计未来到动作接口，将预测的未来潜在变化显式纳入动作生成。 在 LIBERO-Long 上的实验表明，PLaCA 达到 79.0% 的成功率，比仅动作基线提升 5.0 个百分点。
在 CALVIN 上，PLaCA 将平均序列长度从 2.784 提升至 3.564。 这些改进在第二阶段训练仅更新 2.95% 模型参数的情况下实现，证明了未来潜在变化建模对下游机器人操作的有效性。