Real2Sem2Real：面向机器人学习的 3D 语义增强，基于单个人类 RGB 演示
论文提出 Real2Sem2Real 流水线，将一段人类演示的单目 RGB 视频转化为覆盖同类语义物体实例的数千条机器人演示。方法用 DINOv3 蒸馏的高斯泼溅跟踪物体 SE(3) 位姿，称优于现有方法和结合估计度量深度的 FoundationPose；再通过语义对齐把由少量照片生成的数字“表亲”与演示物体及其功能区域（如咖啡机托盘）匹配，并将人手映射为可延伸至这些物体的机器人抓取。演示在 IsaacSim 或 MuJoCo 中生成，约两小时可产出超 2,000 条轨迹；在两台真实机器人、四个任务上，用每任务一段人类视频训练 VLA 策略，表现达到或超过遥操作数据训练的策略。
发布于 10-22 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Real2Sem2Real: 3D Semantic Augmentations for Robot Learning from a Single Human RGB Demonstration》查看原链
arXiv:2610.28880v1 公告类型：新论文 摘要：人类视频易于规模化采集，且不需要机器人硬件，但现有方法需要深度传感、将机器人叠加到 2D 视频上，或仅为演示过的物体生成数据。 我们提出 Real2Sem2Real（R2Sem2R），一种从真实到语义再到真实的流水线，可将一段人类演示的单目 RGB 视频转化为覆盖某一类别语义物体实例的数千条机器人演示。
R2Sem2R 使用 DINOv3 蒸馏的高斯泼溅跟踪每个物体的 SE(3) 位姿，性能优于现有方法以及结合估计度量深度的 FoundationPose。 随后，R2Sem2R 通过语义对齐，将每个由一张或几张照片生成的数字“表亲”与演示物体对齐。
该对齐同时匹配整体物体和目标物体的功能区域，例如咖啡机的托盘。 R2Sem2R 将人手映射为可延伸至这些“表亲”的可行机器人抓取。 机器人演示可在 IsaacSim 中生成以获得照片级渲染，或在 MuJoCo 中生成以获得接触物理，R2Sem2R 能在约两小时内生成超过 2,000 条轨迹。
在两台真实机器人和四个任务上，我们使用每个任务一段人类视频的数据训练视觉-语言-动作策略，所训练策略在多样物体实例上达到或超过使用遥操作数据训练的策略。 项目页面：https://real2sem2real.github.io/。