该研究提出 Specola,一个依据信号时序逻辑(STL)规范在仿真中评估机器人行为的工具,用于弥补成功率指标只反映任务是否完成、不反映成功余量、对目标参数变化的敏感性、违反的要求以及成功是否持续的不足。Specola 提供在仿真器信号上编写规范的接口,并在策略执行期间创建和管理监视器,同时提供 Python API 与命令行接口以接入现有策略执行循环。工具还提供适配器接口,已适配 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准,代码与适配器已在 GitHub 开源。
机器人行业洞察
今日精选
The robotics journal行业消息
研究团队提出 EmbodiedLab 基准,要求机器人在物理仿真实验室中「为知而行」:智能体获得目标与实验装置后自行选择流程,通过相机读取仪器,改变系统状态并观察反馈,直至发现规律或达成目标。该基准覆盖五个学科、14 个实验装置平台上的 30 个实验,每个实例重新采样系统参数,结果无法预先得知但可精确评分,且每个实验均经验证可解。团队在开发者编码智能体中评估六个前沿模型,比较原生控制、增加感知与运动规划、以及从最强智能体蒸馏操作技能三种配置;原生控制下最强智能体成功率不足一半,多数失败发生在与装置交互环节,操作技能对较弱智能体的提升大于感知与规划。基准与评估代码已在 GitHub 开源。
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作,无需原生机器人控制信号,并应用于 30.1K 小时人类、机器人与仿真视频,生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%,无基准特定适配的 LIBERO-Plus 上 84.7%,VLABench 五赛道平均 51.9%,RoboTwin 2.0 双臂基准平均 88.6%;在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。
arXiv 发布 Labference 基准,用于评估机器人实验室中观察到的物理执行结果如何影响后续操作选择,以及这些选择如何转化为实际动作。其评估协议通过受控的证据变化测试依赖结果的行为适应,并分别测量操作选择、物理执行与任务完成;同时从共享检查点出发,用匹配的 Oracle 辅助续接评估哪些支持能改善后续选择。初步评估显示,被测 VLA 策略虽能成功转移物体,但存在目标选择错误;GPT 驱动的控制能正确选择,却出现执行失败和较高计算开销。
论文提出 RetroNav,一个无需训练、可自进化的导航框架,把导航、记忆积累与失败反思整合在一起。它构建统一记忆系统,将几何与语义场景知识和历史导航经验关联,并区分客观观察与依赖任务的解读。每次导航尝试后由独立评估器判断是否需要重试;若需要,Retrospection Agent 依据积累的场景知识与导航记录回溯历史决策,生成有证据支撑的重试简报以指导下一次尝试。RetroNav 在五个导航基准上取得当前最优性能,代码将在 GitHub 开源。
论文提出VISTA元智能体框架,把具身智能体的事后rollout反思改为主动自我探索:维护记录harness谱系的harness图,使元智能体可检索先前假设、复用有效机制并避免重复失败方向;每轮从保留的harness版本及其执行证据出发,在环境中自主生成新rollout、探查失败与恢复行为,据此迭代修改harness并重新评估入图。在LIBERO-Pro、RoboCasa、RoboTwin三个基准上,VISTA逐步提升任务成功率,且比静态反思更省rollout,以更少仿真器rollout取得更高成功率。
研究提出 RoboDuo 闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成,失败时由原子 VLA 完成剩余步骤;智能体不输出动作、只决定由哪个 VLA 执行,因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上,RoboDuo 持续提升 X-VLA 和 π0.5,长时程任务增益最大,并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
研究团队提出 OSMA-Bench 基准,用空间匹配、仅障碍物类型不同的场景集,评测家庭机器人导航中的障碍物条件安全运动适应,并提出语义敏感度指数(SSI),衡量间距及随距离变化的速度与平滑度是否遵循障碍物的谨慎度排序。对基于 VLM 和 VLA 的策略评测显示,两者均无法持续按障碍物安全性调整运动,即使给出明确安全提示;策略能按安全相关性区分障碍物,却未在运动参数或动作中体现。对基于 VLM 的策略,在识别障碍物与生成导航程序之间加入显式参数推断步骤可改善适应。
论文提出 RobotAgentBench(RAB)基准,用于在开放世界家庭环境中评估机器人智能体。该基准通过智能体辅助、人在回路的真实到仿真流程,构建 50 个含可交互物体的家庭布局,覆盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。评估分任务级与场景级:任务级考察任务发现、情境推理、操作、失败恢复、鲁棒性五个维度;场景级考察能力整合以满足高层用户需求。实验显示操作能力与自主性之间存在显著差距,智能体架构与递归自我改进具优势。
研究对FastWAM与OpenWAM做受控的未来视频预测损失消融,固定模型架构、初始化、机器人训练数据与训练步数。在已见任务的干净条件下,预测监督分别将成功率提升24.38和72.91个百分点;轨迹聚类显示多个粗粒度轨迹簇内成功率更高,部分簇频率变化很小,说明增益不只来自轨迹模式分布变化。但在分布偏移下增益不稳定:未见任务上的提升因模型和任务而异,两种模型在环境随机化下成功率均偏低,预测监督无一致优势。作者还将未来视频预测作为π0.5的辅助训练目标,仅训练时使用的轻量Transformer预测器把成功率从82.94%提升到89.19%。
论文提出免训练 VLA 推理加速方法 TRIAGE:通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝,漂移低于按主干校准的阈值且缓存不过旧时复用,否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点,Jetson AGX Orin 上预填充延迟最多降低 48%;仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。
研究提出 ARPG 方法,将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器,训练 1.3 亿参数的生成主干网络,在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能,双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示,更广泛覆盖人类操作行为可有效提升下游性能,作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。
研究团队发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询,以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%,但在固定训练布局内目标变化时降至 16.1%;VLM 适配与机器人数据预训练提升有限,oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。
RoboLongR 提出离线到在线的框架,学习依赖历史的奖励以引导策略适应新任务,核心目标是因果一致性,即被奖励的进展须与执行历史支持的前提条件对齐。方法包含阶段打乱监督、循环记忆和两轮训练,奖励引导阶段条件策略从行为克隆精炼至在线强化学习。在 88 个 RLBench 任务和 Open-X 数据上预训练后,该工作在未参与奖励预训练的 18 个长程任务上平均成功率 31.8%,高于最强基线 9.2 个百分点;四个真实机器人任务成功率 57.5%,比对比方法高 32.5 个百分点。
研究者提出 WorldFailBench 基准,用于检验世界模型能否忠实模拟机器人策略的失败方式,包含失败原因、失败阶段、失败边界三项评估任务。基准覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,这些模型在理解策略失败方面存在显著差距。
研究团队在 Habitat 3.0 中构建 TouchSafeBench 基准,包含 2,940 个模拟室内共处片段,覆盖社交导航与社交重排,配有同步多视角 RGB-D、俯视轨迹图、标定相机元数据及仿真器接触标签,用于评估视觉语言模型的碰撞接地能力。测试三个前沿或机器人学导向 VLM 与九种视觉表示,最佳平均 Macro-F1 低于 50%,显式深度未自动转化为机器人本体碰撞证据,机器人与场景接触的判断持续难于与人接触风险。
研究团队发布 ContactBench 1.0 富接触操作基准,基于对日常人类操作的观察归纳出八项基本技能,用 36 个参考任务和 40 多个物体资产实例化。资产可在消费级 3D 打印机上可复现制造,每个资产配有匹配仿真模型,并支持真实与仿真环境中的受控任务变体以评估泛化。在六个任务上评估近期纯视觉与视觉-触觉策略学习方法:纯视觉策略难以感知或响应接触事件,视觉-触觉策略也未带来显著性能提升。基准将在项目页开源。
论文提出HGWM,将LLM生成的房间锚点先验与持久空间语义记忆结合,用于零样本物体导航:粗阶段以0-10分对候选朝向打视觉语义分,细阶段衡量观测物体、房间上下文与目标先验的符号兼容性,再经相位相关融合与LLM方向建议结合后选择局部动作。在HM3D v0.1上报告62.6% SR、31.5% SPL,WMNav为58.1%、31.2%;MP3D上为46.8%、17.9%,对比45.4%、17.2%;HM3D v0.2完整模型为74.4% SR、31.9% SPL。组件消融使SR下降0.9-2.3个百分点、SPL下降0.6-1.5点。作者称实现通过离线测试,但无逐回合重跑记录,评估仅限仿真。
arXiv 论文提出 ArtifactArena 开放式评测平台,要求模型完成物理落地的软硬件协同设计任务:设计功能完整的机器人,并在仿真竞技场中对战。评测覆盖零样本、验证器引导的迭代优化和开放式物理设计三种能力,分别依据文本描述、物理仿真器反馈和对战数据改进机器人制品;模型排名由制品间一对一锦标赛的 Elo 分决定。框架与锦标赛基础设施对外开放,供社区持续提交,以构建不会饱和的测试平台。
研究团队提出 RMMBench 评测基准,将高层与低层具身任务整合进统一框架,构建含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航。该基准要求机器人在连续空间中理解语言指令并执行长时程任务,以弥补现有基准任务类型与评测指标有限的问题。结果显示,领先的视觉语言模型在移动操作任务的空间定位上仍存在明显不足,长时程交互中机器人空间感知能力有待增强。

