机器人动作表征的语义锚定
研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题，提出将动作表征锚定到语义流形，并分解为共享语义通道与私有通道，推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证，真实世界分布内任务最高提升18.7%，分布外泛化最高提升21.5%。
发布于 10-27 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Semantic Anchoring for Robotic Action Representations》查看原链
arXiv:2607.13597v3 公告类型：替换 摘要：视觉-语言-动作（VLA）模型从预训练的视觉-语言模型中继承了丰富的语义表征，但在有限的机器人演示数据上微调会破坏这种结构并削弱泛化能力。 由此产生一个根本性问题：什么构成好的动作表征？
受镜像神经元理论中观察与执行共享意图层面编码这一洞见的启发，我们考察机器人的动作表征是否保留了预训练编码器所捕获的语义结构。 系统性探测证实，该结构在微调过程中会退化，且其质量与任务成功率和分布外泛化能力同步。 我们进一步提出一种即插即用方法，将动作表征锚定到语义流形上，同时把表征分解为共享语义通道和私有通道，这些在推理时全部丢弃，部署模型保持不变。
在仿真和真实世界基准上跨不同VLA骨干网络验证，我们的方法在真实世界分布内任务上最高提升18.7%，在分布外泛化上最高提升21.5%。