T-WLA：弥合慢速视觉与快速触觉
T-WLA 是一种世界-语言-动作架构，用共享视觉记忆同时驱动动作生成与触觉修正：视觉分支每次更新时把当前图像、任务指令与检索历史整合为视觉记忆，该记忆被缓存给轻量级触觉编辑器，后者结合当前动作块与触觉输入预测未执行动作的残差修正，无需重跑视觉分支。训练阶段以未来图像与未来压力预测作为辅助监督。在 EgoTouch 与 Tachin 的触觉条件手部运动预测上，手指关节 MPJPE 较最强已报告基线降低 30%；四个真实灵巧操作任务平均成功率约 50.0%。
发布于 10-22 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《T-WLA: Bridging Slow Vision and Fast Touch》查看原链
在接触密集型操作中，接触条件可能在视觉策略更新动作计划之前发生变化。 通过视觉策略重新计算计划会带来延迟，而仅靠触觉反馈无法说明应如何针对任务修改正在进行的运动。 我们提出 T-WLA，一种世界-语言-动作架构，利用共享视觉记忆同时指导动作生成与触觉修正。
在每次视觉更新时，视觉分支将当前图像、任务指令和检索到的历史整合为视觉记忆，用于条件化基础动作生成。 同一记忆被缓存供轻量级触觉编辑器使用，后者将其与当前动作块和传入触觉结合，预测对未执行动作的残差修正，而无需重新运行视觉分支。 未来图像与未来压力预测提供仅训练期监督，促使视觉记忆与触觉特征捕捉与动作生成和修正相关的交互动力学。
我们在 EgoTouch 和 Tachin 上以触觉条件手部运动预测评估 T-WLA，并在四个真实世界灵巧操作任务上评估。 相比已报告的最强基线，T-WLA 将手指关节 MPJPE 降低 30%，在真实机器人操作任务上平均成功率约 50.0%。
视频与代码见 https://anonymous-submission-20.github.io/T-WLA.github.io/。