GE-Act 2.0 是一个世界-动作模型,其生成组件与动作组件全部在操作数据上从零初始化,未继承预训练视频生成器。模型由面向控制的自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成,先分别在互补数据上预训练,再用知识对齐的选择性优化 KASO 联合训练。在 20 个技能组共 100 个任务上直接评估预训练检查点、不做逐任务微调;联合训练数据从 300 小时扩至 30,000 小时,G1-OP 成功率由 17.1% 升至 44.1%,G2-90D 由 13.4% 升至 31.1%,后者数据占比不足 2% 仍提升 17.7 个百分点,提示跨具身迁移。
机器人行业洞察
今日精选
The robotics journal行业消息
研究团队提出世界动作模型 VPP2,通过整理大规模多样化操作视频数据集,对基础视频模型进行事件级继续预训练,并将其蒸馏为固定预测时域的单步视觉规划器,再以混合 Transformer(MoT)架构接入动作模块学习隐式逆动力学。实验显示,VPP2-14B 在开放式任务视频预测指令遵循成功率上比 Cosmos3-64B 高 11.0 个百分点;在真实世界零样本 ALOHA 操作任务上比最强基线高 18.5 个百分点;经基准特定后训练后,在 LIBERO-Pro、LIBERO-OOD 与 RoboDojo 上取得所评估方法中的最高成功率。
研究团队提出 IG-VLA 视觉-语言-动作推理框架,其潜在时空推理直接在视觉表征空间想象与任务相关的未来场景演化以指导动作预测,避免像素级视频生成;场景要旨记忆把推理得到的场景-行为关联压缩为场景要旨 token,使推理阶段无需显式未来想象。在 LIBERO、LIBERO-Plus、VLABench 上测试,LIBERO-Plus 语言套件中推理策略与要旨策略成功率均比最强基线高近 6%;要旨策略在单块 NVIDIA A6000 上实现最高 6.38 倍加速,每动作块推理延迟从 1081ms 降至 169.5ms。
研究团队发布 JRDB-AVR 基准,基于真实世界 JRDB 机器人数据,通过结构化问题生成引擎构建,要求具身智能体按时间戳和视角请求有界观察,并同时评估最终答案与支撑该答案的视觉证据。基准问题覆盖时间搜索、视角选择和面向人类的组合推理。团队同时提出参考方法 JRDB-AVR-Agent,维护显式的、基于观察的图结构世界模型并通过求解作答。实验显示当前基线答案准确率与证据准确率存在显著差距,VLM 可给出缺乏证据支持的正确答案。代码与基准已在 GitHub 开源。
该研究构建了一套面向农业抓取与采摘的仿真到真实机器人学习框架:基于MuJoCo搭建包含多种番茄植株结构的农业仿真环境,通过手柄遥操作采集专家演示,并用底层控制器执行机器人动作。研究将Octo与π0.5两个预训练通用机器人策略在仿真演示上适配,随后在实体Franka Research 3机械臂上用真实机器人演示进一步微调,并在分布内、视角/空间偏移和分布外条件下评估,同时考察本体感知信息对策略性能的影响。结果显示π0.5的任务表现得分高于Octo,且在分布偏移下性能退化更小。
研究提出 LAW 闭环框架,用混合专家视觉语言模型规划子任务并异步评估执行状态,融合世界-动作模型生成的动作,WAM 内部以 Mixture-of-Transformer Experts 做联合视频-动作建模,双流分层视觉记忆维护时序上下文。在 50 个 RoboTwin 任务上平均成功率 94.21%,将 WAM 主干换成 OpenWAM-α 后升至 95.56%,称创 RoboTwin 开源最优;2B 参数 VLM 优于 Embodied-R1.5 与 GPT-5.5 High 变体。三个长程真机任务平均成功率 65%,对比 π0.5 的 28.33% 与 Fast-WAM 的 25%。
研究团队提出 CLARO,一个由视觉语言模型(VLM)驱动的智能体,负责编排开放词汇目标检测、分割、6 自由度抓取和非抓取式推动等技能,用于在杂乱环境中定位并取出语言指定的目标。系统维护过往动作记忆以支持长时程执行,输出抓取位姿或 3D 路点,无需任务特定训练即可跨机械臂迁移。在动态仿真环境与标准图像基准上,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;部署到真实机械臂后成功率为 88.8%,展示了仿真到现实的泛化能力。
研究团队提出 CapPro 框架,使预训练 VLA 策略仅凭单段人类演示视频即可适配此前未见的操作任务,无需目标任务机器人演示或微调。该框架由两部分组成:阶段感知人类视频表示模块通过视觉 token 选择构建紧凑视频表示,并在阶段字幕监督下学习任务相关查询表示;视频条件适配模块将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文,同时基本保留原动作生成主干。实验显示,CapPro 在未见目标任务组上提升平均性能,源任务性能保持可比。
论文提出StepTrigger,一种针对VLM驱动腿足机器人的接触状态触发后门攻击:触发器由Unitree Go1四足机器人走过密集地形区域时产生的足-地压力与接触模式生成,而非提示词token或可见标记。为区分正常行走中的噪声性压力异常,方法从多模态机器人状态学习选择性后门策略,将偶发压力事件作为良性样本、密集地形接触作为投毒样本。分层离线评估中,训练后的规划器干净行为保持率98.75%、误触发拒绝率92.50%、真触发激活率76.25%、整体解析行为准确率89.17%。作者指出该后门位于本体感知与接触通道,仅关注语言、视觉或动作历史的防御无法覆盖。
ForceDelta-VLA 提出一种修正蒸馏框架,利用冻结教师模型的力条件模式与学习到的无力条件模式的成对预测,构建显式的力修正目标,并另设延迟修正目标以补偿参考动作不匹配与参考状态变化。训练采用异步调度回放,执行时使用缓存的任务上下文。所得轻量策略依据近期力历史与机器人状态调整参考动作,在两次参考动作更新之间响应接触变化,无需重新生成完整动作块。在九项单臂与双臂接触密集任务上,平均成功率为82.2%,原始 ForceVLA 基线为54.4%,直接执行第一阶段时序教师模型为70.6%;相比 ForceVLA,完整系统在两个平台上将成功试验的平均峰值接触力降低约26%。
研究对OpenVLA-OFT和pi0.5在分布外LIBERO-90任务上的失败进行标注,将其归为四种模式,仅「执行失准」(到达正确目标但移动距离或力度校准错误)可由一句话纠正覆盖。方法为每任务一句回顾性描述,经LLM解析为动作维度、方向、幅度项与时间窗口,作为短时偏置施加于冻结策略动作。仿真中恢复139个分布内失败中的65个、328个分布外失败中的33个;真实xArm7基座移动后,同物体抓取放置从10/30升至30/30,新物体从2/30升至24/30,两个长时程任务仍为0/30。朴素提示的VLM最多10次尝试均未恢复。
LaWAM 提出以紧凑的潜在视觉子目标替代重建未来视频,将预测动态注入机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型,并复用前向解码器预测未来观测特征。在 LIBERO 上成功率达 98.6%,RoboTwin 上达 91.22%,真实世界操作任务同样取得领先或具竞争力的结果;每次动作块预测耗时 187 毫秒,墙钟延迟较像素空间 WAM 最多降低 24 倍。
WorldArena 2.0 将具身世界模型基准从纯视觉预测扩展到视触觉多模态感知与预测,并把评估范围从策略评估与规划延伸到将世界模型作为交互式强化学习环境用于策略优化。平台维度上,该基准不再局限于仿真器,覆盖多种具身形态的仿真与真实机器人设置,在标准化协议下评估感知质量、交互效用与跨平台性能。代码与演示已发布于 world-arena.ai。
研究团队提出 SentryVLA,一种面向冻结 VLA 策略的轻量级运行时封装器,无需重新训练或修改底层模型架构。该方法在动作层面用保形分位数回归估计采样动作与专家式行为之间偏差的校准上界,并据此对多个随机候选动作排序以完成动作选择;在执行监测层面,对最终动作预测前提取的上下文化潜在执行状态计算基于马氏距离的异常分数,用于闭环控制中检测异常执行状态。仿真与实体机器人实验显示,该方法改进了动作选择,并能提供有用的运行时异常警告信号。
研究团队提出自动生成机器人规划与执行故障的框架:对成功操作轨迹施加扰动,合成贴近真实分布的故障,并用视觉语言模型生成结构化逐步推理轨迹,构建出基于 RLBench 仿真器与 BridgeDataV2 真实机器人数据集的 GuardianFail-36k 故障推理数据集。基于该数据集训练的 Guardian 是面向统一规划与执行验证的多视角推理 VLM,在 RoboFail、RoboVQA 及新提出的 UR5-Fail 三个未见真实世界基准上取得最先进性能;与基于 LLM 的操作策略集成后,在仿真和真实部署中均持续提升任务成功率。代码、数据与模型已公开。
论文提出 TrySee,一种模块化闭环机器人任务规划流水线,将通用 VLM 推理与领域专用感知模块及成熟机器人组件结合,无需微调 VLM 或端到端演示,通过可替换感知模块与运动规划实现适配。系统包含反应式循环规划流水线、领域专用模块化视觉预处理以提供在线接地,以及动态预处理选择机制以提升可扩展性。评估覆盖 5 个差异显著领域的规划任务,含真实机器人拆解任务,并在棕地环境开展现场测试,验证在领域专用训练数据有限时集成 VLM 规划的实用性。
该研究针对电子废弃物拆解中VLA策略数据采集困难的问题,提出基于3D高斯泼溅(3DGS)的数据生成流程:用3DGS重建真实工作空间,从机器人对齐位姿渲染多样化腕部相机观测,并与平滑结构化到达轨迹配对,为VLA微调提供机器人对齐的视觉-动作监督;同时为策略增加指令条件到达验证器,在物理接触前估计目标接近度并给出终止判断。在主板拆解实验中,仅用腕部相机、无外部侧视相机,基于π0.5模型,1500条生成轨迹在三个目标上实现80.0%精确到达成功率,而150条遥操作演示为58.7%,且主动人工采集时间不足10分钟。
arXiv 10 月新投稿提出 DEX-PHD 便携式手持数据采集设备,集成灵巧机器人手、逐指连续控制与多模态记录,操作者通过关节级映射直接控制机器人手。系统同步记录本体感知信息、指尖接触数据和腕部相机视频,无缆设计支持在多种环境中采集数据。作者在需要多指协同的富接触任务上验证该设备,并将采集的示范以开环回放方式部署到实体人形机器人上,结果显示回放保留了手指运动的主要时间模式与任务相关接触。
浙江大学具身智能团队提出 JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量级能量式适配框架:基础策略冻结,仅学习一个以观测、任务上下文和动作为条件的可微标量能量函数,可训练参数约 8 万个。该函数同时用于离散候选比较与连续动作梯度纠正或生成,训练信号来自执行反馈、专家纠正或示范偏好。在留出测试集上,MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus、CLIPort 的任务成功率分别比匹配的基础策略对照组提升 1.28、2.31、1.60、1.52、1.28 个百分点。实现将在 GitHub 开源。
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作,无需原生机器人控制信号,并应用于 30.1K 小时人类、机器人与仿真视频,生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%,无基准特定适配的 LIBERO-Plus 上 84.7%,VLABench 五赛道平均 51.9%,RoboTwin 2.0 双臂基准平均 88.6%;在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。

