感觉运动对齐：具身策略成功的一种柏拉图式代理指标
论文提出无需训练的离线指标 S²（感觉运动对齐），衡量模型感知表示与物理运动几何结构的对齐程度，在多个具身模型系列中与下游机器人任务成功率正相关。S² 可在闭环评估前用于模型优先级排序，并能在 VLM 微调为 VLA 之前识别有前景的骨干网络。作者据此将柏拉图表示假说扩展到具身模型，并为 VLA 与世界动作模型中的现象提供表示层面解释。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success》查看原链
arXiv:2610.31670v1 公告类型：交叉 摘要：机器人基础模型通常通过成本高昂的闭环 rollout 来评估，这促使人们寻求廉价的离线代理指标来衡量模型能力。 柏拉图表示假说（PRH）提出，随着表示能力的提升，视觉和语言等不同模态会趋向于一个关于现实的共享统计模型。
我们追问运动轨迹是否构成另一种这样的模态：随着具身模型能力增强，其感知表示是否应当向物理运动的结构收敛？ 为考察这一点，我们提出感觉运动对齐（S²），一种无需训练的离线指标，用于衡量模型的感知表示与物理运动几何结构的对齐程度。 我们发现，在多个具身模型系列中，S² 与下游机器人任务成功率呈正相关，使其成为在闭环评估之前对模型进行优先级排序的低成本离线代理指标。
S² 还能在将视觉语言模型（VLM）骨干网络昂贵地微调为视觉-语言-动作模型（VLA）之前，识别出有前景的骨干网络。 除相关性之外，S² 还为在 VLA 与世界动作模型（WAM）中观察到的现象提供了表示层面的解释。 借助 S²，我们将 PRH 扩展到具身模型，并使感觉运动对齐在经验上可测量，从而为具身模型为何成功提供了超越其闭环成功率的洞见。