HuMiT：通过紧凑参考跟踪实现低延迟全身人形机器人遥操作
HuMiT 全身遥操作策略仅以根高度、根速度及当前帧四个稀疏关键点的 SE(3) 位姿作为参考目标，在跟踪保真度上与使用完整关节位置、稠密身体部位变换及未来帧的方法相当。系统从头显串流到策略输出的通信到推理延迟约 20 ms，基于视频的光流延迟中位数为 65 ms。作者在 Unitree G1 人形机器人上验证了接住抛来球体等亚秒级反应及协调移动-操作能力。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《HuMiT: Low-Latency Whole-Body Humanoid Teleoperation via Compact Reference Tracking》查看原链
摘要：基于优化的重定向流程与未来帧条件化会带来计算延迟，因此实时全身人形机器人遥操作仍具挑战。 现有运动跟踪策略通常需要稠密参考目标，包括完整关节位置、身体部位变换甚至未来帧，这使控制器与昂贵的上游模块紧密耦合。 本工作提出 HuMiT，一个全身遥操作系统的统一跟踪策略，仅需紧凑参考目标——根高度、根速度以及当前帧四个稀疏关键点的 SE(3) 位姿，却在跟踪保真度上与依赖更丰富参考状态（完整关节位置、稠密身体部位变换乃至未来帧）的方法相当。
实验显示，该策略从头显串流到策略输出的通信到推理延迟约 20 ms，基于视频的光流延迟中位数为 65 ms，覆盖不同运动类型。 系统在 Unitree G1 人形机器人上验证，展示了接住抛来球体等亚秒级反应以及协调的移动-操作能力。 项目页面：https://xiaohu-art.github.io/Track/。