AffordSim：面向可供性感知机器人操作的可扩展数据生成器与基准
AffordSim 将开放词汇 3D 可供性预测接入仿真轨迹生成：给定自然语言任务，合成场景、发出可供性查询并定位到物体表面、采样区域条件抓取，再用运动规划筛选可执行轨迹，同时随机化位姿、纹理、光照、噪声与背景以支持 sim-to-real。该基准含 50 个任务、五种机器人本体、500 多个刚性与铰接物体；在可供性关键任务上达到人工接触标注轨迹采集成功率的 93%，困难复合任务为 89%。用其数据训练的 VLA 策略零样本迁移到真实 Franka FR3，平均成功率 24%。
发布于 10-27 12:58来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation》查看原链
许多日常机器人操作技能依赖可供性，成功与否取决于机器人是否接触到后续动作所需的功能性物体区域。 当前的仿真数据生成器通过通用抓取估计器或逐物体人工接触标注来获取接触点，但通用估计器只对稳定抓取排序而不考虑任务语义，常选出与下游动作不匹配的接触点；人工接触标注则必须为每个新物体和新任务重新编写。
为解决这些问题，我们提出 AffordSim，一个可扩展的数据生成器与基准，将开放词汇 3D 可供性预测集成到基于仿真的轨迹生成中。 给定自然语言任务描述，AffordSim 合成与任务相关的场景，发出可供性查询，将其定位到物体表面，采样区域条件抓取，并通过运动规划筛选可执行候选。
它还随机化物体位姿、纹理、光照、图像噪声和跨视角背景，以支持 sim-to-real 迁移。 我们将 AffordSim 实例化为一个包含 50 个任务的基准，覆盖多种操作技能、五种机器人本体和 500 多个刚性与铰接物体。 在可供性关键任务上，AffordSim 达到人工接触标注轨迹采集成功率的 93%，在困难复合任务上达到 89%。
用 AffordSim 数据训练的视觉-语言-动作策略零样本迁移到真实 Franka FR3，平均成功率为 24%。