ViT-H：带运动跟踪反馈的生成式视频到人形机器人控制
论文提出 ViT-H 框架，用扩散模型从单目人类视频直接生成人形机器人参考运动，跳过人体运动重建与重定向两步，并用下游运动跟踪结果通过直接偏好优化对生成器做后训练。作者还给出自回归变体，在 Unitree G1 上实现延迟低于 400 毫秒的实时视频遥操作。实验称其在运动质量与可执行性上优于现有“重建-重定向-跟踪”流水线，且随模型规模、预训练与后训练数据规模扩展表现良好。
发布于 10-27 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback》查看原链
arXiv:2610.32966v1 公告类型：新论文 摘要：从单目人类视频学习人形机器人控制，为获取多样化的全身行为提供了一条可扩展的途径。 然而，现有的“重建-重定向-跟踪”流水线由于各中间阶段分别优化，在系统级可扩展性上受到限制，并且无法利用下游跟踪反馈直接优化参考运动的可执行性。
我们提出 ViT-H，一个遵循“生成-跟踪”范式的视频到人形机器人控制框架。 ViT-H 使用扩散模型直接从视频生成人形机器人参考运动，绕过人体运动重建与重定向，并利用运动跟踪结果通过直接偏好优化对生成器进行后训练。 我们进一步引入一种自回归变体，可实现延迟低于 400 毫秒的实时人形机器人视频遥操作。
在 Unitree G1 上的大量实验表明，ViT-H 在运动质量和可执行性上均优于最先进的“重建-重定向-跟踪”流水线。 我们还进一步表明，ViT-H 随模型规模以及预训练和后训练数据规模均能良好扩展，而运动跟踪反馈在不同运动跟踪器上都能持续提升可执行性。