RynnVLA-Latent：用3D锚定潜在动作扩展机器人操作基础模型
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作，无需原生机器人控制信号，并应用于 30.1K 小时人类、机器人与仿真视频，生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%，无基准特定适配的 LIBERO-Plus 上 84.7%，VLABench 五赛道平均 51.9%，RoboTwin 2.0 双臂基准平均 88.6%；在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions》查看原链
arXiv:2610.34356v1 公告类型：新论文 摘要：视觉-语言-动作（VLA）模型的扩展受限于动作标注演示稀缺以及不同机器人本体控制空间不兼容。 我们提出 RynnVLA-Latent，一个将异构交互视频转化为可扩展监督信号用于机器人策略预训练的框架。
其核心 RynnLAM 从视觉变化中学习连续、3D锚定的潜在动作，无需原生机器人控制信号。 通过结合残差未来特征预测、相机补偿的3D光流监督与相机运动解耦，RynnLAM 促使表征捕捉与控制相关的运动而非仅外观变化。 我们将 RynnLAM 应用于 30.1K 小时的人类、机器人与仿真视频，生成 745.52M 个潜在动作描述符。
随后 RynnVLA-Latent 通过流匹配学习从视觉观测和语言预测潜在动作块，再将预训练骨干与动作专家适配到具体本体的机器人动作。 所得 4B 策略在 LIBERO 上达到 98.8% 成功率，在无基准特定适配的 LIBERO-Plus 上达 84.7%，在 VLABench 五个赛道平均成功率 51.9%，在 RoboTwin 2.0 双臂基准上平均成功率 88.6%。
在灵巧手与移动夹爪平台上的六项真实世界操作任务中，其成功率也高于所比较的方法。 结合表征消融与数据扩展结果，这些发现表明潜在动作监督在超越原生动作标注数据扩展机器人策略学习方面的潜力。