AWLS：优势加权潜在引导用于单步生成式机器人操作策略
论文提出 AWLS（优势加权潜在引导），一种离线后训练方法，用于改进已冻结的单步生成式机器人操作策略，且不更新其解码器。该方法学习一个以观测为条件的残差噪声整形器，对策略的潜在噪声做残差修正，并用优势加权的动作重建目标训练；优势值经分离与尺度归一化后仅作为演示动作的监督权重，避免评论家梯度更新策略，同时保留单步推理速度。作者还提出无需 rollout 的解码器敏感度准则，用于挑选对潜在噪声扰动仍敏感的预训练检查点。在仿真与真实机器人操作任务（干净与混合质量演示）上，AWLS 优于冻结基座策略并限制相对预训练行为先验的漂移。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《AWLS: Advantage-Weighted Latent Steering for One-Step Generative Robotic Manipulation Policies》查看原链
arXiv:2610.27736v1 公告类型：新论文 摘要：人类采集的真实世界机器人操作演示往往包含质量参差的轨迹，其中夹杂犹豫、绕行或低效的动作片段。 扩散模型与流模型策略虽能建模此类多模态数据，但标准行为克隆（BC）对所有演示动作赋予相同似然，因而可能复现次优模式。
离线强化学习的价值估计为将策略偏向更高价值的行为模式提供了自然信号，但直接微调生成式策略或用评论家梯度引导策略，会放大评论家误差并引发先验漂移。 我们提出优势加权潜在引导（AWLS），这是一种离线后训练方法，用于改进冻结的单步生成式操作策略，且不更新其解码器。
AWLS 学习一个残差噪声整形器，即对策略潜在噪声的、以观测为条件的残差修正，并用优势加权的动作重建目标训练它。 优势值被分离、尺度归一化，仅作为演示动作上的监督权重使用，从而避免评论家梯度的策略更新，同时保留快速单步推理。 我们进一步提出一种无需 rollout 的解码器敏感度准则，用于选择对潜在噪声扰动仍保持响应的预训练检查点。
在仿真与真实机器人操作任务上（演示质量分为干净与混合两类）的实验表明，AWLS 相较冻结的基座策略有所提升，同时限制了相对预训练行为先验的漂移。 项目页面：https://awls-corl2026.github.io/