AFFORD2ACT：稀疏关键点在机器人操作中能走多远？
研究提出 AFFORD2ACT，用现成语言条件 affordance 模型定位任务相关区域，从中选取最多 15 个物体关键点加 4 个末端执行器关键点，策略输入仅 19 个二维关键点（38 个坐标），并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上，该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线，演示数量减少时性能下降更小，留出设置平均成功率 82%；把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪，仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《AFFORD2ACT: How Far Can Sparse Keypoints Go for Robot Manipulation?》查看原链
基于视觉的操作策略通常从丰富视觉观测中学习，一般使用从全分辨率图像提取的稠密视觉特征。 目前尚不清楚有效策略学习究竟需要多少此类视觉信息。 本文研究光谱的另一端：若操作策略仅使用紧凑视觉表示作为输入，其效果能有多好。 稀疏二维关键点提供了一种刻意紧凑的表示，在赋予策略空间信息的同时，去除了对外观、纹理和背景的直接访问。
我们设计 AFFORD2ACT（Affordance-Guided Keypoints to Act）来研究在这种表示约束下能保留多少操作能力。 一个现成的语言条件 affordance 模型识别任务相关区域，从中选取最多 15 个物体关键点，连同 4 个末端执行器关键点。
因此策略输入被缩减为仅 19 个二维关键点（38 个坐标）。 一个轻量门控进一步决定执行期间关注哪些关键点。 在六个真实机器人操作任务中，这种紧凑状态优于所评估的 RGB、RGB-D 和稠密 affordance 行为克隆基线，在演示数量减少时性能下降更少，并在留出设置中达到 82% 的平均成功率。
将学习到的门控替换为均匀权重会使成功率从 92% 降至 52%。 同时，该表示依赖可靠的 affordance 定位和关键点跟踪，仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。