基于单段人类视频的视觉-语言-动作模型一次性适配
研究团队提出 CapPro 框架，使预训练 VLA 策略仅凭单段人类演示视频即可适配此前未见的操作任务，无需目标任务机器人演示或微调。该框架由两部分组成：阶段感知人类视频表示模块通过视觉 token 选择构建紧凑视频表示，并在阶段字幕监督下学习任务相关查询表示；视频条件适配模块将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文，同时基本保留原动作生成主干。实验显示，CapPro 在未见目标任务组上提升平均性能，源任务性能保持可比。
发布于 10-27 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《One-shot Human Video-Guided Adaptation for Vision-Language-Action Models》查看原链
arXiv:2610.19746v2 公告类型：替换 摘要：视觉-语言-动作（VLA）模型近期借助大规模机器人数据集与基础模型，在通用机器人操作方面取得了显著进展。 然而，它们快速适配训练分布之外的新操作任务的能力仍然有限。 现有方法通常需要针对具体任务的机器人演示和额外训练，这既耗费人力又耗费算力，限制了 VLA 适配在开放世界场景中的可扩展性。
为减少对目标任务机器人数据的依赖，我们提出 CapPro，一个仅使用单段人类演示视频即可让 VLA 策略适配此前未见操作任务的框架。 CapPro 包含两个组件。 第一，阶段感知的人类视频表示模块通过学习到的视觉 token 选择构建紧凑的视频表示，并在阶段字幕监督下学习任务相关的查询表示。
第二，视频条件适配模块将紧凑视频与查询派生表示联合纳入预训练 VLA 策略的动作条件上下文中。 该设计在引入任务特定引导的同时，基本保留了原始 VLA 动作生成主干。 这样，人类演示提供的是任务特定的执行引导，而非用于模仿的、与本体对齐的轨迹，且无需目标任务机器人演示或目标任务微调。
在源任务与未见目标任务上的实验表明，CapPro 提升了未见目标组的平均性能，同时在源任务上保持可比性能。 这些结果证明了人类视频引导用于跨任务 VLA 适配的有效性。