研究团队在Idealworks的iw.hub差速驱动机器人与全向人形移动平台(HMP)上,测试NVIDIA X-Mobility与COMPASS学习型导航工作流的sim-to-real可靠性,并构建Idealworks研发中心数字孪生。在数字孪生中微调X-Mobility并加入NVIDIA Cosmos生成的sim-to-real增强数据后,策略部署于iw.hub板载Jetson AGX Xavier,在真实研发中心四个场景的成功率由65.3%升至91.7%,加权行驶时间较仅仿真训练近乎减半,与现有生产导航栈差距8.3个百分点,且全程板载运行;配合全局规划器可在每次试验中到达远处被遮挡目标。
机器人行业洞察
今日精选
The robotics journal行业消息
研究团队提出世界动作模型 VPP2,通过整理大规模多样化操作视频数据集,对基础视频模型进行事件级继续预训练,并将其蒸馏为固定预测时域的单步视觉规划器,再以混合 Transformer(MoT)架构接入动作模块学习隐式逆动力学。实验显示,VPP2-14B 在开放式任务视频预测指令遵循成功率上比 Cosmos3-64B 高 11.0 个百分点;在真实世界零样本 ALOHA 操作任务上比最强基线高 18.5 个百分点;经基准特定后训练后,在 LIBERO-Pro、LIBERO-OOD 与 RoboDojo 上取得所评估方法中的最高成功率。
研究团队提出 IG-VLA 视觉-语言-动作推理框架,其潜在时空推理直接在视觉表征空间想象与任务相关的未来场景演化以指导动作预测,避免像素级视频生成;场景要旨记忆把推理得到的场景-行为关联压缩为场景要旨 token,使推理阶段无需显式未来想象。在 LIBERO、LIBERO-Plus、VLABench 上测试,LIBERO-Plus 语言套件中推理策略与要旨策略成功率均比最强基线高近 6%;要旨策略在单块 NVIDIA A6000 上实现最高 6.38 倍加速,每动作块推理延迟从 1081ms 降至 169.5ms。
研究团队发布 JRDB-AVR 基准,基于真实世界 JRDB 机器人数据,通过结构化问题生成引擎构建,要求具身智能体按时间戳和视角请求有界观察,并同时评估最终答案与支撑该答案的视觉证据。基准问题覆盖时间搜索、视角选择和面向人类的组合推理。团队同时提出参考方法 JRDB-AVR-Agent,维护显式的、基于观察的图结构世界模型并通过求解作答。实验显示当前基线答案准确率与证据准确率存在显著差距,VLM 可给出缺乏证据支持的正确答案。代码与基准已在 GitHub 开源。
针对人类视频到机器人策略迁移(H2R)方法因任务套件、场景布局、物体实例与机器人监督量不同而难以横向比较的问题,研究者提出 Real2Sim 基准 H2RBench,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四个交互需求不同的操作任务。论文评估了多种采用不同具身差距弥合策略的代表性 H2R 方法,刻画各方法随人类演示数量增加的性能扩展,发现方法间利用额外人类数据的能力差异显著。仿真性能对真实机器人性能具有预测性,跨方法-任务配置的 Pearson 相关系数 r=0.89、Spearman 相关系数 ρ=0.85、平均最大排名违规 MMRV=0.06。
研究对OpenVLA-OFT和pi0.5在分布外LIBERO-90任务上的失败进行标注,将其归为四种模式,仅「执行失准」(到达正确目标但移动距离或力度校准错误)可由一句话纠正覆盖。方法为每任务一句回顾性描述,经LLM解析为动作维度、方向、幅度项与时间窗口,作为短时偏置施加于冻结策略动作。仿真中恢复139个分布内失败中的65个、328个分布外失败中的33个;真实xArm7基座移动后,同物体抓取放置从10/30升至30/30,新物体从2/30升至24/30,两个长时程任务仍为0/30。朴素提示的VLM最多10次尝试均未恢复。
WorldArena 2.0 将具身世界模型基准从纯视觉预测扩展到视触觉多模态感知与预测,并把评估范围从策略评估与规划延伸到将世界模型作为交互式强化学习环境用于策略优化。平台维度上,该基准不再局限于仿真器,覆盖多种具身形态的仿真与真实机器人设置,在标准化协议下评估感知质量、交互效用与跨平台性能。代码与演示已发布于 world-arena.ai。
AffordSim 将开放词汇 3D 可供性预测接入仿真轨迹生成:给定自然语言任务,合成场景、发出可供性查询并定位到物体表面、采样区域条件抓取,再用运动规划筛选可执行轨迹,同时随机化位姿、纹理、光照、噪声与背景以支持 sim-to-real。该基准含 50 个任务、五种机器人本体、500 多个刚性与铰接物体;在可供性关键任务上达到人工接触标注轨迹采集成功率的 93%,困难复合任务为 89%。用其数据训练的 VLA 策略零样本迁移到真实 Franka FR3,平均成功率 24%。
研究团队发布 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航至指定目的地,并引入安全感知指标记录每条轨迹的碰撞与近碰撞预警。对 11 个开源与闭源视觉大语言模型及 3 个导航基线的实验显示,智能体能够抵达目标,但会与移动障碍物发生碰撞,说明任务成功与安全导航之间存在差距。该环境还通过自动 oracle 轨迹与仿真器交互支持策略学习,并保留部分场景用于泛化测试;实验表明策略可在熟悉的仓库中完成新路线,却无法迁移到保留布局,跨场景泛化仍是待解问题。
研究团队提出自动生成机器人规划与执行故障的框架:对成功操作轨迹施加扰动,合成贴近真实分布的故障,并用视觉语言模型生成结构化逐步推理轨迹,构建出基于 RLBench 仿真器与 BridgeDataV2 真实机器人数据集的 GuardianFail-36k 故障推理数据集。基于该数据集训练的 Guardian 是面向统一规划与执行验证的多视角推理 VLM,在 RoboFail、RoboVQA 及新提出的 UR5-Fail 三个未见真实世界基准上取得最先进性能;与基于 LLM 的操作策略集成后,在仿真和真实部署中均持续提升任务成功率。代码、数据与模型已公开。
研究者提出 EAST 数字孪生框架,将文献中的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,包含经专家评审的安全故障分类体系和8个可执行算子。在6个 RoboTwin 操作任务及 ACT、RDT 两种策略架构上,五轮对比实验覆盖全部74个任务-策略-算子组合,其中63个获得有效证据,安全挑战暴露率接近 Random-Legal 与 Rule-Based 方法。另有82次有效执行在违反安全要求的情况下仍完成任务,显示以任务成功为导向的评估会掩盖风险。
arXiv 2610.35832v1 发布技术报告,在EBench上评测GPT-6-Astra作为机器人智能体核心,采用与后训练策略相同的视觉与本体感知观测协议。直接控制配置下,智能体直接生成路点命令,整体表现与后训练策略相当,短时程任务领先且跨泛化维度波动最小,但在长时程任务、桌面操作和高精度接触密集任务上落后。带策略的框架允许调用后训练VLA或WAM策略执行动作,整体成功率提升至最强对比策略水平并大幅降低token成本,但因策略调用不理想、固定指令无子目标、恢复控制时抓取被打断,仍低于各组件逐任务上限。
该研究提出 Specola,一个依据信号时序逻辑(STL)规范在仿真中评估机器人行为的工具,用于弥补成功率指标只反映任务是否完成、不反映成功余量、对目标参数变化的敏感性、违反的要求以及成功是否持续的不足。Specola 提供在仿真器信号上编写规范的接口,并在策略执行期间创建和管理监视器,同时提供 Python API 与命令行接口以接入现有策略执行循环。工具还提供适配器接口,已适配 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准,代码与适配器已在 GitHub 开源。
研究团队提出 EmbodiedLab 基准,要求机器人在物理仿真实验室中「为知而行」:智能体获得目标与实验装置后自行选择流程,通过相机读取仪器,改变系统状态并观察反馈,直至发现规律或达成目标。该基准覆盖五个学科、14 个实验装置平台上的 30 个实验,每个实例重新采样系统参数,结果无法预先得知但可精确评分,且每个实验均经验证可解。团队在开发者编码智能体中评估六个前沿模型,比较原生控制、增加感知与运动规划、以及从最强智能体蒸馏操作技能三种配置;原生控制下最强智能体成功率不足一半,多数失败发生在与装置交互环节,操作技能对较弱智能体的提升大于感知与规划。基准与评估代码已在 GitHub 开源。
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作,无需原生机器人控制信号,并应用于 30.1K 小时人类、机器人与仿真视频,生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%,无基准特定适配的 LIBERO-Plus 上 84.7%,VLABench 五赛道平均 51.9%,RoboTwin 2.0 双臂基准平均 88.6%;在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。
arXiv 发布 Labference 基准,用于评估机器人实验室中观察到的物理执行结果如何影响后续操作选择,以及这些选择如何转化为实际动作。其评估协议通过受控的证据变化测试依赖结果的行为适应,并分别测量操作选择、物理执行与任务完成;同时从共享检查点出发,用匹配的 Oracle 辅助续接评估哪些支持能改善后续选择。初步评估显示,被测 VLA 策略虽能成功转移物体,但存在目标选择错误;GPT 驱动的控制能正确选择,却出现执行失败和较高计算开销。
论文提出 RetroNav,一个无需训练、可自进化的导航框架,把导航、记忆积累与失败反思整合在一起。它构建统一记忆系统,将几何与语义场景知识和历史导航经验关联,并区分客观观察与依赖任务的解读。每次导航尝试后由独立评估器判断是否需要重试;若需要,Retrospection Agent 依据积累的场景知识与导航记录回溯历史决策,生成有证据支撑的重试简报以指导下一次尝试。RetroNav 在五个导航基准上取得当前最优性能,代码将在 GitHub 开源。
论文提出VISTA元智能体框架,把具身智能体的事后rollout反思改为主动自我探索:维护记录harness谱系的harness图,使元智能体可检索先前假设、复用有效机制并避免重复失败方向;每轮从保留的harness版本及其执行证据出发,在环境中自主生成新rollout、探查失败与恢复行为,据此迭代修改harness并重新评估入图。在LIBERO-Pro、RoboCasa、RoboTwin三个基准上,VISTA逐步提升任务成功率,且比静态反思更省rollout,以更少仿真器rollout取得更高成功率。
研究提出 RoboDuo 闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成,失败时由原子 VLA 完成剩余步骤;智能体不输出动作、只决定由哪个 VLA 执行,因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上,RoboDuo 持续提升 X-VLA 和 π0.5,长时程任务增益最大,并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
研究团队提出 OSMA-Bench 基准,用空间匹配、仅障碍物类型不同的场景集,评测家庭机器人导航中的障碍物条件安全运动适应,并提出语义敏感度指数(SSI),衡量间距及随距离变化的速度与平滑度是否遵循障碍物的谨慎度排序。对基于 VLM 和 VLA 的策略评测显示,两者均无法持续按障碍物安全性调整运动,即使给出明确安全提示;策略能按安全相关性区分障碍物,却未在运动参数或动作中体现。对基于 VLM 的策略,在识别障碍物与生成导航程序之间加入显式参数推断步骤可改善适应。

