EMMA：通过生成式视觉模型增强机器人控制鲁棒性
研究提出EMMA框架，结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频，支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练，并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中，相比仅用真实数据训练，性能相对提升超92%，加入AdaMix后额外提升17%。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《EMMA: Enhancing Robotic Control Robustness through a Generative Visual Model》查看原链
arXiv:2509.22407v3 公告类型：replace-cross 摘要：视觉-语言-动作（VLA）模型的泛化能力高度依赖多样化的训练数据。 然而，获取跨不同物体外观的大规模机器人操作数据成本高昂且劳动密集。 为此，我们提出了具身操作媒体自适应（EMMA）框架，用于增强VLA策略，该框架结合了生成式数据引擎与有效的训练流程。
我们引入了DreamTransfer，一种基于扩散Transformer的架构，用于生成多视角一致且几何合理的具身操作视频。 它支持对前景、背景和光照进行文本驱动的视频编辑，同时保持3D结构和几何保真度。 我们还使用了真实数据与生成数据的混合训练集，并提出了AdaMix来增强训练过程。
AdaMix是一种根据策略性能自适应加权样本的训练策略，以强调具有挑战性的样本。 评估表明，DreamTransfer在多视角一致性、几何保真度和文本条件精度方面优于之前的视频生成模型。 在零样本视觉设置的真实机器人任务中，我们的框架相比仅使用真实数据训练实现了超过92%的相对性能提升，并且使用AdaMix后额外提升了17%。