ZeroDex：基于多视角3D接地的VLM推理实现零样本长程灵巧操作
ZeroDex提出零样本长程灵巧操作框架，将语言指令从标定多视角RGB图像接地为可执行3D任务规划，输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务，通过可复用原语库执行抓取放置与工具使用；工具使用检索物体中心原子动作并对齐6D工具轨迹，灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线，且无演示系统优于在100个任务演示上微调的VLA策略，并支持执行验证与重规划恢复中间失败。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《ZeroDex: Zero-Shot Long-Horizon Dexterous Manipulation via Multi-View 3D-Grounded VLM Reasoning》查看原链
我们提出ZeroDex，一个面向长程灵巧操作的零样本框架，可将语言指令从标定后的多视角RGB图像接地为可执行的3D任务规划。 该框架建立在视觉语言模型（VLM）已具备的2D接地能力之上，通过多视角融合将其预测提升到3D，从而把VLM接地从图像空间关键点扩展到操作实际所需的度量3D量：接触点、放置目标和工具运动锚点。
由于执行由这些3D接地驱动而非学习到的策略，系统保留了VLM的开放世界泛化能力，无需为特定任务或本体收集演示或进行后训练。 VLM将复杂指令分解为一系列原子任务，每个原子任务由一个小型可复用库中的原语执行，覆盖抓取放置和工具使用等操作任务：对于工具使用，检索与推断技能类别对应的以物体为中心的原子动作，并将其存储的6D工具轨迹对齐到接地关键点；对于灵巧执行，将提升后的抓取关键点扩展为任务条件化的抓取可供性区域，并用臂手运动生成器生成可行的抓取-运动对。
真实世界实验表明，相比零样本视觉提示和基于约束的基线（二者均从单张RGB-D视图接地），本方法具有更高的3D接地精度和任务成功率，且无演示系统优于在100个任务演示上微调的VLA策略。 我们进一步展示了长程操作，其中执行验证与重规划可从中间失败中恢复，并表明系统可泛化到新场景中的未见物体和工具使用任务。