FastVLA：面向高效视觉-语言-动作模型的任务条件与时间自适应视觉Token压缩
FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架，通过任务到视觉注意力为token重要性打分，并依据重要性分布均匀性（逆Simpson指标加在线滑动窗口校准）自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示，LLM主干FLOPs降低35-59%，动作延迟降低9-32%（1.09-1.46倍加速），任务成功率保持；在实体Franka Research 3机器人上动作预测延迟降低20%（1.25倍加速），成功率相当。代码已开源。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models》查看原链
视觉-语言-动作（VLA）模型为通用机器人操作提供了一种有前景的范式，但闭环部署往往受限于推理效率：在每个时间步，高分辨率、通常多视角的图像被编码为数百个视觉token，这些token主导了Transformer计算与延迟。 基于注意力的token压缩是一种自然的解决方案，但对VLA控制而言颇具挑战，原因在于：（1）决策关键token由任务决定，而非通用视觉显著性；（2）token预算在不同步骤间差异显著，因此静态指标与固定预算要么浪费计算，要么丢弃控制关键token。
我们提出FastVLA，一个免训练、任务感知且时间自适应的视觉token压缩框架。 在每个步骤，FastVLA通过任务到视觉注意力为token重要性打分，并基于重要性分布的均匀性（以逆Simpson指标衡量，配合在线滑动窗口校准）自适应设定压缩率。
我们在LIBERO与SIMPLER上对OpenVLA、OpenVLA-OFT和CogACT进行评估，并在实体Franka Research 3机器人上测试。 在仿真中，它将LLM主干FLOPs降低35-59%，动作延迟降低9-32%（1.09倍至1.46倍加速），同时保持任务成功率，取得与现有即插即用token压缩/剪枝/复用基线相当或更优的效率-性能权衡。
在真实机器人上，它在成功率相当的情况下将动作预测延迟降低20%（1.25倍加速）。 代码见https://github.com/jiuyixu25/FastVLA。