LaWAM：面向高效动态感知机器人策略的潜在世界动作模型
LaWAM 提出以紧凑的潜在视觉子目标替代重建未来视频，将预测动态注入机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型，并复用前向解码器预测未来观测特征。在 LIBERO 上成功率达 98.6%，RoboTwin 上达 91.22%，真实世界操作任务同样取得领先或具竞争力的结果；每次动作块预测耗时 187 毫秒，墙钟延迟较像素空间 WAM 最多降低 24 倍。
发布于 10-27 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies》查看原链
视觉-语言-动作模型（VLA）借助大规模视觉-语言预训练实现语义层面的机器人控制，但通常缺乏对机器人动作如何改变场景的显式预见。 世界动作模型（WAM）通过以预测的未来为条件来弥补这一局限，但现有方法通常依赖计算代价高昂的视频生成，且存在大量像素级冗余。
我们提出 LaWAM，一种潜在世界动作模型，它通过紧凑的潜在视觉子目标而非重建未来视频，将预测动态暴露给机器人策略。 LaWAM 的核心是潜在动作条件化的潜在世界模型（LaWM）。 我们通过在预训练视觉基础模型的潜在空间中训练潜在动作模型，并复用其前向解码器来预测未来观测特征以刻画场景演化，从而获得 LaWM。
随后，LaWAM 以这些预测的潜在视觉子目标为条件生成动作，实现动态感知的机器人控制。 LaWAM 在 LIBERO（成功率 98.6%）、RoboTwin（成功率 91.22%）和真实世界操作任务上取得最先进或具竞争力的成功率，同时保持低延迟推理。
LaWAM 每次动作块预测耗时 187 毫秒，相比像素空间 WAM 的墙钟延迟最多降低 24 倍。