物理词：用于构建机器人操作中潜在推理的词表
PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点，预测即将发生的原子动作词，并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐，从而构建时间结构化的 PhysWord 空间（每个动作词含视觉与可选触觉变体）。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率，在基于视觉的 LIBERO-Long 上取得 99.6%，均为此前最优；在使用双臂夹爪和灵巧手的真实任务上优于对比方法，并可泛化到未见场景、支持长程操作。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation》查看原链
多模态推理为机器人基础模型提供可靠动作生成所需的预测性上下文。 然而，基于语言的推理能捕捉任务语义，却难以表达细粒度的物理动力学；潜在推理虽能建模未来状态演化，却缺乏将这些动力学组织为可复用推理原语的结构。 为弥合这一差距，我们提出 PhysWord，一种基于“物理词”的“先推理后行动”基础模型，以原子动作动词作为连续物理动力学表征的共享语义锚点。
具体而言，PhysWord 预测即将发生的原子动作词，并将其上下文隐藏状态直接与由相应未来观测导出的潜在目标对齐。 基于这些原语，我们构建了时间结构化的 PhysWord 空间，每个动作词包含视觉变体和可选触觉变体。 通过自回归地预测未来时间步上的物理词，捕捉执行阶段之间的转换，为动作生成提供结构化的多模态上下文。
PhysWord 在视觉-触觉 UniVTAC 上达到 90.3% 的成功率，在基于视觉的 LIBERO-Long 上达到 99.6%，均为当前最优，并在使用双臂夹爪和灵巧手的真实任务上优于对比方法。 进一步评估表明，我们的结构化潜在推理框架可泛化到未见场景，并支持长程操作。
项目页面：https://nvidia-isaac.github.io/video_to_data/physicalword/