RoboGene:面向VLA预训练、以多样性驱动的智能体任务生成框架
arXiv 2602.16444v3 提出 RoboGene,一个面向单臂、双臂和移动机器人的智能体式操作任务生成框架,由多样性驱动采样、智能体自我反思评估任务质量、以及经人工验证的反馈记忆三部分组成。研究团队通过大规模真实世界实验采集了 1.8 万条轨迹,并提出任务可行性与多样性指标;RoboGene 在任务生成上显著优于 GPT-4o 和 Gemini 2.5 Pro,用其生成数据训练的 VLA 模型成功率更高、泛化更强。数据集已发布于 Hugging Face(X-Humanoid/RoboGene)和 ModelScope。
发布于 10-27 12:58来源:arXiv cs.RO
转载 · 官方发布原文:arXiv cs.RO ·《RoboGene: Diversity-Driven Agentic Task Generation Framework for VLA Pre-training》查看原链
追求通用机器人操作能力受到多样化的真实世界交互数据稀缺的制约。 与大规模网络视觉-语言数据不同,机器人数据采集的物理成本高得令人却步。 因此,关键挑战不仅在于采集更多机器人数据,更在于获得能扩展跨物体、场景和技能行为覆盖面的信息量丰富的训练数据。
然而,如何自动筛选任务提案以最大化所采集数据的效用,仍缺乏充分探索。 我们提出RoboGene,一个面向单臂、双臂和移动机器人生成多样化、信息量丰富的操作任务的智能体框架。 RoboGene结合了:(1)多样性驱动采样,以实现广泛的任务覆盖;(2)智能体自我反思,用于任务质量评估;(3)经人工验证的反馈记忆,用于基于执行的验证和持续改进。
通过定量分析和大规模真实世界实验,我们采集了1.8万条轨迹,并提出了任务可行性与多样性的度量指标。 RoboGene显著优于包括GPT-4o和Gemini 2.5 Pro在内的前沿基础模型。 使用RoboGene生成数据训练的VLA模型取得了更高的成功率和更强的泛化能力,凸显了高质量任务生成的价值。
项目页面:https://robogene-boost-vla.github.io/。 数据集:Hugging Face(https://huggingface.co/datasets/X-Humanoid/RoboGene)和ModelScope(https://modelscope.cn/datasets/X-Humanoid/RoboGene_tasks)。
