跳到主要内容
Evolvant
订阅

一次扫描即可:语言引导导航的免演示自适应

研究提出 Scan2Instruction 与 PRPT-KS 两项设计:前者将一次 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合,替代现场遥操作采集人类演示;后者通过从重建场景直接读取的闭式帕累托效用完成策略自适应,无需学习评论家与人工标注。在五个真实环境中,二者结合使 RealNav 真实机器人成功率达 85%,基于人类演示后训练的基线为 49%;在同一建筑未扫描区域成功率为 82%,基线为 41%。

发布于 10-27 12:54来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《One Scan is Enough: Demonstration-Free Adaptation for Language-Guided Navigation》查看原链

部署语言引导导航策略到新建筑通常意味着看着它失败。 公开基准上的 VLA 模型会随着布局、外观和语言漂移而逐场景退化,而现场遥操作采集新轨迹的标准做法难以规模化。 我们用一次简短的 iPhone 扫描替代人类演示。 Scan2Instruction 将该扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合。

PRPT-KS 随后通过直接从重建场景读取的闭式帕累托效用对策略进行自适应,无需学习评论家、无需人工标注。 在五个真实环境中,两项设计共同将 RealNav 的真实机器人成功率提升至 85%,而基于人类演示后训练的 RealNav 基线为 49%;在同一建筑未扫描区域仍达到 82%,同一基线为 41%。

该工作将语言引导导航的免演示场景自适应从愿景变为可运行现实。

来源arXiv cs.ROen原文发布 10-27访问原文