研究团队提出 PlayPolicy(DSP)框架:机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略,再自主运行数小时采集交互数据训练世界模型;推理时该策略为模型预测控制(MPC)提出候选动作序列,由世界模型评估,并可用世界模型内自我对弈蒸馏闭环目标条件策略加速推理。在仿真与真实世界的多指手欠驱动推动和任意到任意手内姿态重定向任务上,真实实验成功率比事后行为克隆高 69.6%,交互数据量比强化学习少 490 倍而成功率相当,且无需任务特定演示或 sim-to-real 迁移。
机器人行业洞察
今日精选
The robotics journal行业消息
研究团队提出 CapPro 框架,使预训练 VLA 策略仅凭单段人类演示视频即可适配此前未见的操作任务,无需目标任务机器人演示或微调。该框架由两部分组成:阶段感知人类视频表示模块通过视觉 token 选择构建紧凑视频表示,并在阶段字幕监督下学习任务相关查询表示;视频条件适配模块将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文,同时基本保留原动作生成主干。实验显示,CapPro 在未见目标任务组上提升平均性能,源任务性能保持可比。
针对人类视频到机器人策略迁移(H2R)方法因任务套件、场景布局、物体实例与机器人监督量不同而难以横向比较的问题,研究者提出 Real2Sim 基准 H2RBench,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四个交互需求不同的操作任务。论文评估了多种采用不同具身差距弥合策略的代表性 H2R 方法,刻画各方法随人类演示数量增加的性能扩展,发现方法间利用额外人类数据的能力差异显著。仿真性能对真实机器人性能具有预测性,跨方法-任务配置的 Pearson 相关系数 r=0.89、Spearman 相关系数 ρ=0.85、平均最大排名违规 MMRV=0.06。
ForceDelta-VLA 提出一种修正蒸馏框架,利用冻结教师模型的力条件模式与学习到的无力条件模式的成对预测,构建显式的力修正目标,并另设延迟修正目标以补偿参考动作不匹配与参考状态变化。训练采用异步调度回放,执行时使用缓存的任务上下文。所得轻量策略依据近期力历史与机器人状态调整参考动作,在两次参考动作更新之间响应接触变化,无需重新生成完整动作块。在九项单臂与双臂接触密集任务上,平均成功率为82.2%,原始 ForceVLA 基线为54.4%,直接执行第一阶段时序教师模型为70.6%;相比 ForceVLA,完整系统在两个平台上将成功试验的平均峰值接触力降低约26%。
X-WBC 提出跨本体人形机器人全身控制基础框架,将共享的人体运动语义与各本体特定的物理执行分离:以人为中心的命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,因果 Transformer 从多机器人混合 rollout 中学习可复用的时序结构,轻量级本体特定模块再把共享表示映射到各机器人的本体感知与动作空间。实验覆盖九个仿真本体、外部运动数据和四台真实机器人,结果显示联合训练提升跟踪性能,对齐表示支持跨命令源的一致控制,策略在训练语料之外仍具竞争力。作者据此主张异构人形机器人可作为联合数据源,跨本体联合训练是通向全身控制基础模型的可行路径。
研究对OpenVLA-OFT和pi0.5在分布外LIBERO-90任务上的失败进行标注,将其归为四种模式,仅「执行失准」(到达正确目标但移动距离或力度校准错误)可由一句话纠正覆盖。方法为每任务一句回顾性描述,经LLM解析为动作维度、方向、幅度项与时间窗口,作为短时偏置施加于冻结策略动作。仿真中恢复139个分布内失败中的65个、328个分布外失败中的33个;真实xArm7基座移动后,同物体抓取放置从10/30升至30/30,新物体从2/30升至24/30,两个长时程任务仍为0/30。朴素提示的VLM最多10次尝试均未恢复。
LaWAM 提出以紧凑的潜在视觉子目标替代重建未来视频,将预测动态注入机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型,并复用前向解码器预测未来观测特征。在 LIBERO 上成功率达 98.6%,RoboTwin 上达 91.22%,真实世界操作任务同样取得领先或具竞争力的结果;每次动作块预测耗时 187 毫秒,墙钟延迟较像素空间 WAM 最多降低 24 倍。
WorldArena 2.0 将具身世界模型基准从纯视觉预测扩展到视触觉多模态感知与预测,并把评估范围从策略评估与规划延伸到将世界模型作为交互式强化学习环境用于策略优化。平台维度上,该基准不再局限于仿真器,覆盖多种具身形态的仿真与真实机器人设置,在标准化协议下评估感知质量、交互效用与跨平台性能。代码与演示已发布于 world-arena.ai。
arXiv 2605.13775v2 提出 RoboEvolve 框架,将 VLM 规划器与 VGM 仿真器耦合成协同进化循环,用无标签种子图像自举,通过日间探索(语义控制多粒度奖励)与夜间巩固(挖掘近失失败)双阶段机制训练。实验显示基础规划器提升 30 个绝对点、仿真器成功率平均提升 48%;仅用 500 个无标签种子即超越全监督基线,初始 RL 数据减少 50 倍;并可将冷启动 LingBot-VA 在 LIBERO 上的平均任务成功率从 78.7% 提升至 98.7%。
研究团队提出 SentryVLA,一种面向冻结 VLA 策略的轻量级运行时封装器,无需重新训练或修改底层模型架构。该方法在动作层面用保形分位数回归估计采样动作与专家式行为之间偏差的校准上界,并据此对多个随机候选动作排序以完成动作选择;在执行监测层面,对最终动作预测前提取的上下文化潜在执行状态计算基于马氏距离的异常分数,用于闭环控制中检测异常执行状态。仿真与实体机器人实验显示,该方法改进了动作选择,并能提供有用的运行时异常警告信号。
AffordSim 将开放词汇 3D 可供性预测接入仿真轨迹生成:给定自然语言任务,合成场景、发出可供性查询并定位到物体表面、采样区域条件抓取,再用运动规划筛选可执行轨迹,同时随机化位姿、纹理、光照、噪声与背景以支持 sim-to-real。该基准含 50 个任务、五种机器人本体、500 多个刚性与铰接物体;在可供性关键任务上达到人工接触标注轨迹采集成功率的 93%,困难复合任务为 89%。用其数据训练的 VLA 策略零样本迁移到真实 Franka FR3,平均成功率 24%。
研究提出强化学习框架 PrepTurn,将当前与下一个位姿目标直接映射为关节动作,用即将到达的目标指导机器人如何接近当前目标,避免单目标策略在连续目标下出现的走走停停。方法包含持久信用奖励与逐步提升目标难度的自动课程,无需预设轨迹或到达时间即可协调接近速度与转向。仿真与 Unitree Go2 机载实验显示,连续穿越完成率高、运动更高效且停顿减少;目标容差放宽后,策略还出现提前转向下一目标和在允许区域内切角的涌现行为。
arXiv 2602.16444v3 提出 RoboGene,一个面向单臂、双臂和移动机器人的智能体式操作任务生成框架,由多样性驱动采样、智能体自我反思评估任务质量、以及经人工验证的反馈记忆三部分组成。研究团队通过大规模真实世界实验采集了 1.8 万条轨迹,并提出任务可行性与多样性指标;RoboGene 在任务生成上显著优于 GPT-4o 和 Gemini 2.5 Pro,用其生成数据训练的 VLA 模型成功率更高、泛化更强。数据集已发布于 Hugging Face(X-Humanoid/RoboGene)和 ModelScope。
该研究提出 UniManip 框架,以智能体操作图(AOG)作为任务编排、状态跟踪、执行验证与闭环失败恢复的显式认知与操作主干。高层语义意图经物理接地场景图转化为可执行原语,该场景图提供几何可供性、接触感知交互参数与无碰撞轨迹合成。框架将高层智能体层与低层场景层耦合,从非结构化感知实例化以物体为中心的场景图,经安全感知局部规划器参数化为无碰撞轨迹,并利用结构化记忆自主诊断与恢复执行失败。在 LIBERO-Pro 上取得最优性能,真实世界实验显示跨任务、跨本体与跨灵巧手的零样本泛化,任务成功率分别超过领先 VLA 模型和分层基线 22.5% 与 25.0%。项目页面已开源。
研究团队发布 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航至指定目的地,并引入安全感知指标记录每条轨迹的碰撞与近碰撞预警。对 11 个开源与闭源视觉大语言模型及 3 个导航基线的实验显示,智能体能够抵达目标,但会与移动障碍物发生碰撞,说明任务成功与安全导航之间存在差距。该环境还通过自动 oracle 轨迹与仿真器交互支持策略学习,并保留部分场景用于泛化测试;实验表明策略可在熟悉的仓库中完成新路线,却无法迁移到保留布局,跨场景泛化仍是待解问题。
研究团队提出自动生成机器人规划与执行故障的框架:对成功操作轨迹施加扰动,合成贴近真实分布的故障,并用视觉语言模型生成结构化逐步推理轨迹,构建出基于 RLBench 仿真器与 BridgeDataV2 真实机器人数据集的 GuardianFail-36k 故障推理数据集。基于该数据集训练的 Guardian 是面向统一规划与执行验证的多视角推理 VLM,在 RoboFail、RoboVQA 及新提出的 UR5-Fail 三个未见真实世界基准上取得最先进性能;与基于 LLM 的操作策略集成后,在仿真和真实部署中均持续提升任务成功率。代码、数据与模型已公开。
arXiv 于 2025 年 10 月发布(v2 替换版)的立场论文提出「身体-控制协同设计」路线,主张人形机器人不应只在固定本体上优化控制策略,而应利用当前本体与策略的运行经验,递归地同时改进形态与行为,作者将其称为物理递归自我改进(Physical RSI),并类比生物进化。论文讨论了基于策略性探索、Sim2Real 迁移和元策略学习的三类协同设计方法,并从方法论、应用驱动和社区建设三个角度论证其必要性,同时指出该方向在人形机器人领域仍属研究不足,提出从短期创新到长期目标的开放问题清单。
研究团队提出零真实数据智能体策略 ZAP:以预训练 27B 参数视觉语言模型为基座,经监督微调与 GRPO 在简单仿真任务上训练,训练全程不使用真实机器人数据。在真实世界任务上成功率达 96.7%,与 GPT-6 Astra 持平,高于 MolmoAct2 VLA 的 33.3%,运行速度快 3 倍、成本低 17 倍。ZAP 可泛化到训练数据中未出现的物体、目标与操作,包括试管入架并按要求换孔、双臂空中传试管、井字棋画 X 与下国际象棋;迁移到单臂 Franka 后在 RoboLab-120 上达 55.9%,领先最佳 VLA/WAM 基线 4.9 个百分点。
研究者提出 EAST 数字孪生框架,将文献中的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,包含经专家评审的安全故障分类体系和8个可执行算子。在6个 RoboTwin 操作任务及 ACT、RDT 两种策略架构上,五轮对比实验覆盖全部74个任务-策略-算子组合,其中63个获得有效证据,安全挑战暴露率接近 Random-Legal 与 Rule-Based 方法。另有82次有效执行在违反安全要求的情况下仍完成任务,显示以任务成功为导向的评估会掩盖风险。
研究团队提出FLORE框架,用于学习力反应式人形机器人移动操作。数据采集不依赖机器人本体:用两个带力感知的UMI风格手持夹爪记录手部运动与接触力旋量,用可穿戴追踪器记录身体运动。力反应式扩散策略以视觉、本体感知和实测力旋量为输入,输出动作与每只手的力指令;带力跟踪的混合柔顺全身控制器在保持平衡的同时执行指令,通过对真实力/力矩传感器测得的力误差做积分,使每只手沿指令方向精确跟踪力、在其他方向保持柔顺。仿真中控制器可跟踪不同大小与方向的单手力指令,全身运动精度损失很小。机器人上三项接触密集任务中,力反应式策略成功率为80%,仅位置策略为26.7%。

