GPT-6-Astra 理解触觉，性能超越视觉—触觉—语言—动作模型
论文提出 GPT-as-Tactile-Policy 方法：将专家演示总结为任务指导与触觉参考，GPT-6-Astra 结合多模态观测与交互历史生成控制指令，并依据接触反馈调整动作。在无需机器人专用预训练和逐任务微调的情况下，该方法在五个 UniVTAC 接触密集型操作任务上平均成功率为 93.8%，与现有最优策略相当，部分任务更高；Insert Hole 任务中触觉反馈将成功率从 31% 提升至 99%。执行分析显示模型能进行接触引导的试探与纠正。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《GPT-6-Astra Understands Touch and Outperform Vision--Tactile--Language--Action Models》查看原链
arXiv:2610.28457v1 公告类型：新论文 摘要：通用多模态模型作为直接的机器人动作策略已显示出潜力，但它们是否理解真实世界交互背后的物理规律，并能运用这种理解来指导动作，仍缺乏充分探索。 我们以接触密集型操作作为代表性测试平台来研究这一问题，将触觉理解作为这一更广泛能力的具体实例加以考察。
接触密集型操作需要解读触觉反馈，并在受阻后调整动作。 现有的学习型触觉策略通过专门的预训练和逐任务优化来获得这些能力，数据和训练成本很高。 我们提出 GPT-as-Tactile-Policy，将专家演示总结为任务指导与触觉参考，用于接触评估和纠正动作。
GPT-6-Astra 将这些上下文与多模态观测和交互历史结合，生成控制指令，并通过接触反馈调整动作。 在无需额外的机器人专用预训练或逐任务策略微调的情况下，我们的方法在五个 UniVTAC 任务上取得 93.8% 的平均成功率。 整体性能与最先进策略相当，在部分任务上成功率更高。
在 Insert Hole 任务上，触觉反馈将成功率从 31% 提升到 99%。 执行分析进一步展示了接触引导的试探与纠正，通过显式专家经验和在线反馈推动操作进展。