X-World：将视频先验迁移到可变视角机器人控制
X-World 框架通过固定长度 token 序列将视频扩散模型先验迁移至共享动作专家，用残差跨视角注意力分支把预训练视频骨干扩展至一至三视角并保留原自注意力路径，层对齐 Q-Former 聚合骨干特征，数据集特定模块映射原生状态/动作接口。训练分两阶段：先冻结视频骨干做仅动作预训练，再联合目标域后训练；执行时单次骨干前向提取特征并采用异步动作分块。LIBERO 上平均成功率 98.5%，其检查点在 LIBERO-Plus 上零适配达 76.5%；六个双臂真实任务每任务 20 次试验平均成功率 81.7%。消融显示移除视频适配或跨视角融合的降幅最大。
发布于 10-27 12:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《X-World: Transferring Video Priors to Variable-View Robot Control》查看原链
arXiv:2610.34105v1 公告类型：新论文 摘要：视频扩散模型为机器人控制提供了交互表征的来源，但迁移这些表征需要协调可变相机输入、异构动作接口与闭环执行。 我们提出 X-World，一个通过固定长度 token 序列将视频先验迁移到共享动作专家的框架。
残差跨视角注意力分支将预训练视频骨干扩展到一、二或三个视角，同时保留其原始自注意力路径。 层对齐的 Q-Former 聚合骨干特征，数据集特定模块在原生状态与动作接口和共享动作专家之间进行映射。 训练将视频适配与仅动作预训练分离，后者阶段冻结视频骨干，随后进行联合目标域后训练。
策略通过单次骨干前向提取视频特征，并使用异步动作分块执行。 在 LIBERO 上，X-World 达到 98.5% 的平均成功率；其 LIBERO 训练的检查点在无进一步适配的情况下于 LIBERO-Plus 上获得 76.5%。 七种偏移的分解显示，在机器人、语言、光照和布局扰动方面有提升，但在相机、背景和噪声偏移下相对 OpenVLA-OFT 存在弱点。
在六个双臂真实世界任务上，每任务 20 次试验中平均成功率为 81.7%。 在测试的移除项中，移除视频适配或跨视角融合导致最大的成功率下降。