TrySee：面向专业领域闭环机器人任务规划的模块化感知增强 VLM 接地
论文提出 TrySee，一种模块化闭环机器人任务规划流水线，将通用 VLM 推理与领域专用感知模块及成熟机器人组件结合，无需微调 VLM 或端到端演示，通过可替换感知模块与运动规划实现适配。系统包含反应式循环规划流水线、领域专用模块化视觉预处理以提供在线接地，以及动态预处理选择机制以提升可扩展性。评估覆盖 5 个差异显著领域的规划任务，含真实机器人拆解任务，并在棕地环境开展现场测试，验证在领域专用训练数据有限时集成 VLM 规划的实用性。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《TrySee: Modular Perception-Enhanced VLM Grounding for Closed-Loop Robot Task Planning in Specialized Domains》查看原链
视觉语言模型（VLM）在机器人的高层推理与任务规划方面已展现出令人印象深刻的能力。 然而，专业领域对 VLM 的图像解读与接地能力仍构成挑战。 我们提出 TrySee，一种模块化闭环机器人任务规划流水线，将通用 VLM 推理与领域专用感知及成熟机器人组件相结合。
该系统由本质上反应式的循环规划流水线构成，并辅以领域专用的模块化视觉预处理，以提供在线接地。 最后，一种动态预处理选择机制提升了流水线的可扩展性。 该系统既不需要对 VLM 进行微调，也不需要端到端演示，而是通过可替换的感知模块与运动规划实现适配。
该方法在涵盖 5 个差异显著领域的规划任务上进行了评估，其中包括一项真实世界机器人拆解任务。 在棕地环境中的现场测试表明，该方法在领域专用训练数据有限的情况下，将 VLM 规划集成到专业机器人系统中具有实用性。