V2-STRep：基于VLM的结构化任务表示，用于从生成视频中获取可复用机器人技能
维也纳工业大学（TU Wien）团队提出零样本框架V2-STRep，将视频生成模型合成的操作视频中的运动转换为可复用机器人技能。该方法用VLM生成结构化任务表示，指定运动阶段、参考对象与约束，目标以点、点法线、轴、平面和6D位姿等最小几何结构描述；VLM给出的2D图像线索经RGB-D观测提升至3D，用于重建任务几何与候选抓取位姿。几何规则负责跨场景运动迁移，任务约束轨迹优化将抓取选择与完整运动规划耦合，并利用剩余旋转自由度适应关节限制。在六个真实操作任务上，执行成功率高于基线，技能可跨场景迁移，并可通过更新部署基础与约束适配新指令而无需重新生成视频。
发布于 10-23 23:02来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos》查看原链
arXiv:2609.20582v2 公告类型：替换 摘要：人类操作视频为无需机器人演示即可获取机器人技能提供了丰富的运动和交互线索。 视频生成模型根据初始场景图像和任务指令合成此类演示，从而避免为每个任务录制演示。 然而，恢复出的运动只捕捉到一种特定于场景的实现，任务结构、几何关系和约束仍隐含其中。
我们提出V2-STRep，一个零样本框架，通过基于VLM的结构化任务表示将生成视频中的运动转换为可复用的机器人技能。 该表示指定运动阶段、参考对象和任务相关约束，目标由最小几何结构描述：点、点法线、轴、平面和完整6D位姿。 VLM提供的2D图像空间线索利用RGB-D观测提升到3D，以重建任务几何和候选抓取位姿。
几何特定规则将运动迁移到新场景，而任务约束的轨迹优化将抓取选择与完整的机器人运动规划耦合。 它在保留任务要求的同时，利用剩余旋转自由度来适应关节限制。 更新部署基础与约束，即可在新的兼容指令下复用，而无需再生成视频。 在六个真实世界操作任务上的实验表明，相比基线执行成功率有所提高，成功获取的技能可可靠地跨场景迁移，并能适应变化的部署指令。
详情见项目网站：https://tuwien-asl.github.io/V2-STRep/。