FoveaVLA：用注视动作替代VLA中的腕部相机
研究提出FoveaVLA，用学习到的注视动作替代VLA中的腕部相机：策略在每个动作块之外预测下一次查询需观察的交互区域，并从原始分辨率图像中裁剪该区域，与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置（分别使用一个或两个外部立体相机，输入完整与注视区域的RGB-D），在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中，FoveaVLA-Single单外部RGB-D视图成功率70.8%，Dual为77.1%，配备腕部相机的π0.5为52.1%；在普通抓取放置任务上与基线持平，在存在干扰物、布料操作和远距离物体任务上成功率提升。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs》查看原链
我们提出FoveaVLA，一种用学习到的注视动作替代腕部相机的视觉-语言-动作（VLA）模型。 腕部相机能提供近距离细节，但视野局限于末端执行器周围；外部相机能看到整个场景，但策略接收到的图像分辨率较低，因而丢失了操作所需的精细细节。 FoveaVLA通过在每个动作块（action chunk）之外同时预测下一次策略查询时需要观察的交互区域，来恢复这些细节。
随后，策略会收到从原始分辨率图像中裁剪出的这些区域，以及完整视图。 我们在π0.5的基础上构建了FoveaVLA的两种配置：Single和Dual，分别使用一个或两个外部立体相机，输入包含完整视图和注视区域的RGB与深度信息，并在DROID数据集上结合RoboInter交互标注对两者进行后训练。
在四个真实世界任务套件中，FoveaVLA-Single仅使用一个外部RGB-D视图就达到70.8%的成功率，FoveaVLA-Dual达到77.1%，而配备腕部相机的π0.5为52.1%。 两者在普通抓取放置任务上与基线持平，并在存在干扰物、布料操作和远距离物体任务上提升了成功率。