延迟随机化拓宽了学习型人形运动跟踪器的延迟裕度
研究在24关节人形机器人上，用单目视频提取的五种运动训练运动跟踪策略，并在独立的CPU MuJoCo测试框架中验证。训练随机化下每个策略30次试验至少26次完成动作；加入40毫秒恒定指令延迟后平均存活率降至15%（0%–45%），延迟裕度仅20–30毫秒。训练时将延迟随机化到0–50毫秒，40毫秒延迟下平均存活率升至95%（75%–100%），裕度提高到50–70毫秒；相同额外迭代但不做延迟随机化的对照组无改善，说明增益来自随机化本身。代价是跟踪精度略降（四种运动0.02–0.06弧度），最具动态性的运动对其他扰动鲁棒性下降。
发布于 10-27 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Delay Randomization Widens the Delay Margin of Learned Humanoid Motion Trackers》查看原链
学习型人形控制器通常在一个仿真器中训练，然后在接近硬件之前会在第二个仿真器中进行验证。 我们研究这种验证对指令延迟意味着什么。 我们在一个24关节人形机器人上，针对从单目视频中提取的五种运动训练运动跟踪策略，并在一个独立的CPU MuJoCo测试框架中进行测试，该框架我们首先对照训练模型进行了验证。
在训练随机化条件下，每个策略在30次试验中至少有26次完成其运动。 然而，在40毫秒的恒定指令延迟下，存活率平均降至15%（0%–45%），延迟裕度仅为20–30毫秒。 在训练期间对延迟进行随机化（0–50毫秒）可将40毫秒下的存活率平均提升至95%（75%–100%），并将裕度提升至50–70毫秒。
一个在相同额外迭代次数下训练但未进行延迟随机化的对照组没有改善，因此增益来自随机化本身。 这一结果在五种运动上均成立，每种运动使用三个训练种子，并且在PhysX中训练的策略表现相同。 代价是跟踪精度略有下降（四种运动上为0.02–0.06弧度），并且对于最具动态性的运动，对其他扰动的鲁棒性降低。
我们还表明，我们看到的第一个sim-to-sim差距来自测试框架、缺失的地面和错误的时间步长，而非物理引擎。 运动训练中常见的0–20毫秒延迟范围位于未随机化跟踪器已有的裕度之内。 收益来自超出该范围的随机化，因此该范围应根据机器人实测延迟来设定，而延迟裕度应与其他sim-to-sim指标并列。