面向多样化人形机器人移动操作的动作对齐潜在规划
研究提出 FIBER 框架，将冻结行为基础模型（BFM）的可执行潜在空间作为异构交互技能共享的规划表征，通过潜在策略投影（LPP）把独立训练的任务策略映射到该空间，再离线训练单一感知流规划器；同时引入用多 gamma 前向-后向学习训练的自适应视界 BFM（AH-BFM）。在仿真中，箱子拾取、开门、抓取三类任务各 128 种变化下平均成功率 42.0%，高于投影潜在回放的 11.6% 和运动学规划的 3.5%。在真实 Unitree G1 人形机器人上验证了 sim-to-real 迁移、技能链式组合与条件引导。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Action-Aligned Latent Planning for Versatile Humanoid Loco-Manipulation》查看原链
学习单一感知策略以完成多样化的人形机器人移动操作，需要统一高层任务决策，同时不丢失使每次交互成功的状态相关物理响应。 这使得高层规划与全身控制之间的表征至关重要：运动学或接触目标提供紧凑抽象，但不直接编码交互特定的控制响应；而直接预测低层动作则要求规划器建模高频闭环反馈。
我们提出 FIBER 框架，使用冻结的行为基础模型（BFM）的可执行潜在空间作为异构交互技能共享的规划表征。 我们的潜在策略投影（LPP）通过识别其诱导动作与局部控制响应匹配的潜在指令，将独立获取的任务特定策略映射到该表征，从而支持较低频率规划，同时保留 BFM 的高频状态反馈。
投影后，我们聚合所有技能的闭环潜在 rollout，并完全离线训练单一感知流规划器。 我们进一步引入 AH-BFM，一种自适应视界 BFM，使用多 gamma 前向-后向（FB）学习训练，以支持精确控制和时序扩展的全身行为。 我们在仿真和真实 Unitree G1 人形机器人上评估 FIBER 的箱子拾取、开门和物体抓取任务。
在仿真中每任务 128 种多样变化下，FIBER 平均成功率达 42.0%，是投影潜在回放（11.6%）的三倍多，并显著优于运动学规划（3.5%）。 真实世界实验进一步展示了 sim-to-real 迁移、技能链式组合以及通过同一统一规划器进行条件引导。