通用机器人策略如何利用最少数据实现自适应？
论文提出“最小数据自适应”范式：预训练机器人策略仅凭一次演示，随后通过自主在线交互学习新任务。作者指出，预训练策略在新任务上零样本失败，但单次演示可将其行为先验引导至粗略任务跟随。据此提出 MiDAS，将少演示行为克隆与基于冻结 VLA 表征的价值型残差学习结合，并强调数据平衡以防探索崩溃。在 LIBERO 与 RoboCasa 任务上，MiDAS 从单次演示初始化显著提升性能；在双臂 YAM 平台上，约六小时在线交互后任务成功率提升。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?》查看原链
arXiv:2608.11363v3 公告类型：替换 摘要：机器人学习的一个核心目标是超越针对特定任务的人工数据采集，转向能够通过自主交互不断改进的机器人。 然而，在现有策略下，完全自主的学习仍然困难：稀疏奖励和较弱的零样本探索往往使在线学习无法发现成功行为。
作为迈向完全自主学习的第一步，我们提出最小数据自适应范式，即预训练的机器人策略必须仅凭一次演示，随后通过自主在线交互来学习新任务。 我们确认，尽管预训练策略在许多新任务上零样本失败，但一次演示足以将其行为先验引导至粗略的任务跟随行为，尽管性能并不可靠。
基于这一发现，我们分离出将粗略任务跟随转化为可靠任务成功所需的关键设计原则。 这些原则包括：(1) 预训练 VLA 表征在支持从在线交互中进行样本高效价值学习方面具有出人意料的效力；(2) 残差策略学习足以学习纠正行为；(3) 需要仔细的数据平衡以防止探索崩溃。
作为这些原则的代表，我们提出 MiDAS，一种简单的离线到在线强化学习方案，将少演示行为克隆与基于冻结 VLA 表征的价值型残差学习相结合。 在 LIBERO 和 RoboCasa 任务上，MiDAS 从单次演示初始化出发显著提升性能，包括那些仅偶尔成功的策略，验证了上述原则。
在双臂 YAM 平台上，从一个脆弱的初始策略出发，MiDAS 在约六小时的在线交互后提升了任务成功率。