arXiv 论文提出 ArtifactArena 开放式评测平台,要求模型完成物理落地的软硬件协同设计任务:设计功能完整的机器人,并在仿真竞技场中对战。评测覆盖零样本、验证器引导的迭代优化和开放式物理设计三种能力,分别依据文本描述、物理仿真器反馈和对战数据改进机器人制品;模型排名由制品间一对一锦标赛的 Elo 分决定。框架与锦标赛基础设施对外开放,供社区持续提交,以构建不会饱和的测试平台。
机器人行业洞察
今日精选
The robotics journal行业消息
研究团队提出 RMMBench 评测基准,将高层与低层具身任务整合进统一框架,构建含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航。该基准要求机器人在连续空间中理解语言指令并执行长时程任务,以弥补现有基准任务类型与评测指标有限的问题。结果显示,领先的视觉语言模型在移动操作任务的空间定位上仍存在明显不足,长时程交互中机器人空间感知能力有待增强。
研究团队提出Embodied Agent Arena,在几何、空间推理、可供性、任务规划与操作五个维度评测十个VLM智能体,1000个案例由32个既有来源与自建GeoProbe基准(168案例,覆盖相机、运动、深度与尺度估计)组成。结果显示闭源权重模型在全部五个领域领先,开源权重VLM空间推理可用但规划与操作成功率明显更低。执行中智能体可达成早期子目标却失去物体控制、将动作绑定到错误接收区域或提前停止;代码修复能恢复执行但不完成任务,自我审查可能推翻正确判断。
研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题,提出将动作表征锚定到语义流形,并分解为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证,真实世界分布内任务最高提升18.7%,分布外泛化最高提升21.5%。
论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。
首尔大学研究团队提出从大规模演示数据中学习速度先验,给定任务指令、运动路径及沿途图像预测执行速度分布,取分位数作为统一时钟对演示重定时,单个先验覆盖语料库全部任务。该方法在机器人遥操作与手持演示数据上拟合,将机器人演示重定时为手持节奏后微调视觉-语言-动作策略,执行时配合实时最优控制层跟踪动作块。在120个RoboLab任务上,微调策略成功率更高、抖动最多降低一半;真实机器人叠杯耗时3.50秒,比默认策略6.02秒快1.72倍,30次试验成功29次。
研究提出一种接入ROS 2 Nav2的自然语言策略接口:本地大语言模型将操作员指令转为JSON策略,指定目的地、空间约束及时间或事件条件,确定性检查决定任务是否接受,三个代价地图适配器把接受的策略投影进现有导航栈,不改动规划器与控制器。在150条研究者编写的英文指令上,四个本地模型产出107-142条正确接受策略,规则解析器为44条,各模型错误接受3-20次;故障注入中8个端点/JSON故障与29个验证器阶段故障被拒。仿真与TurtleBot3实验中,任务1-3平均行驶时间较无策略基线在仿真降低18.4-24.5%、实体平台降低23.1-35.0%。
研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。
论文提出 LogLook,一种面向前沿视觉语言模型机器人规划器的执行锚定记忆机制:系统保留执行日志与模型此前笔记,由模型决定查看位置,仅在预期变化处返回帧,并在检查所选部分前先略读演示。用基准的运动规划器测量,LogLook 在 token 减少 43%、图像用量不到一半的情况下达到与仅笔记记忆相同的成功率,因记忆或所见内容导致的失败回合大幅减少;直接控制下在 RoboMME 测试集上解决 93.5%。
MAST-VLA提出一种双条件机器人操作框架:在LLM主干中引入技能条件化的LoRA混合专家适配器,用技能查询token与路由偏置引导低秩专家特化;同时把预测的可供性热图转为动作头的patch级轨迹-可供性空间先验。在CALVIN ABC→D长时程多技能跨场景泛化设置上,五子任务评估序列平均长度达4.65,作者称达到最先进水平;真实机器人多技能序列实验验证了其在真实感知与控制噪声下的可部署性。
研究团队在Unitree Go2四足机器人上搭载AgileX Piper机械臂,实现闭环移动操作(loco-manipulation),并系统梳理了从固定基座机械臂迁移到腿式平台时,在数据采集、模型适配与推理设计上的实际需求。作者报告了使真机部署可行的关键选择,包括模型变体、动作时域和示教约定,并针对抓取放置任务区分数据覆盖与模型容量。结果显示,扩大示教覆盖使留出的末端执行器误差降低30%;引入推而非抓等次级技能可带来新行为模式且不降低基线性能。真机闭环实验表明数据集构成会影响任务成败。
研究团队发现 OpenVLA 激活的稀疏自编码器(SAE)表征含有可预测任务结果的信息,能在机器人进入不可恢复状态前预测失败。他们识别出强激活与成功或失败特定阶段对应的单个 SAE 特征,并通过定位特征激活显著变化的时间区间归纳出反复出现的行为模式。团队还构建基于 VLM 的解释流程为这些模式生成行为描述,并在留出区间上验证描述与特征激活的对应关系。
研究将测试时训练(TTT)集成到InternVLA-A1与Pi0.5中,通过配对的人类演示与机器人轨迹训练,研究以演示为条件的动作生成,并实现两阶段间的记忆迁移与截断反向传播。实验覆盖视频、短视频与单帧线索任务,考察训练目标、梯度覆盖与对比正则化。在当前规模下,加入TTT并用配对数据训练,未能带来基于演示的一致目标选择;更短序列、全轨迹梯度连通与对比正则化也未明显提升对演示的响应;演示缩减为单帧线索时,真机执行仍偏好固定位置的杯子。
该论文指出流匹配VLA部署中数值求解器深度与执行时域通常被解耦选择,并揭示二者存在由符号反转支配的计算-执行耦合:快速重规划下粗糙积分降低精度,但延长开环执行时粗糙积分反而提升任务表现,其机制是数值截断使横向动作离散度围绕不变的轨迹质心收缩,起到抑制开环漂移累积的隐式正则化作用。在LIBERO、RoboTwin 2.0及真实Franka操作任务上,针对π0、π0.5、GR00T等VLA骨干模型,利用该耦合可在无需训练、不改架构的前提下提升任务成功率并大幅降低推理延迟。
DiscoDemo 将强化学习用作下游视觉运动模仿学习的数据生成器,而非可部署控制器:训练带特权信息的潜在条件 RL 生成器,结合并行逆向课程与成功门控多样性目标,产出多个成功闭环行为,经安全过滤后导出为静态数据集。在四个操作任务上,仿真中下游成功率由最强基线的 40% 升至 62%,真实机器人上由 39% 升至 78%,成功状态覆盖更广。作者称该多样性收益对预训练流匹配 VLA 有效,并与纠错数据采集互补。
EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与第一人称视频训练策略,以降低含噪动作标签的影响。方法包含可靠性条件化损坏、可靠性加权回归,以及用指数移动平均教师从干净未来场景变化中蒸馏特权未来表征。在 30,000 小时预训练数据下,其扩展斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点;后训练后在仿真与真实灵巧操作中均表现较强。
WorldMirror 提出一种智能体化的真实到仿真框架,从野外机器人演示中构建可交互数字孪生,核心是把真实到仿真构建表述为对可执行世界程序的迭代精化。编码智能体负责分解场景、规划重建步骤并编排图像与三维生成工具,通过验证反馈修正程序;以相机位姿为锚的场景表示将世界组织为静态视觉上下文、支撑几何与可编辑交互资产。在 DROID 数据集上的实验显示,该方法能重建视觉逼真、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
研究提出导航基础模型 RepresentNav,用三层 transformer(Representation Residuals)对多个视觉基础模型全深度特征做注意力,构建由策略目标驱动的自建表征空间,并在动作前用潜在思维链预测下一时刻场景表征,以 JEPA 架构端到端训练。在 VLNVerse 细粒度任务上成功率达 83.80%,较此前最优高 20.05 个百分点;EVT-Bench 干扰物跟踪单相机达 85.5%(+10.1);相同编码器下自建空间优于拼接输出,想象使碰撞减少四分之一。单个潜在表征可解码未来场景的深度、语义与三维占据,占据无监督仍优于预训练编码器作用于真实未来帧。
英伟达团队发布工业级机器人数据引擎 Flora,用于训练 GR00T 模型,同时提供结果奖励标签、过程奖励标签和带时间戳的说明文字三类数据标注能力。Flora 在说明文字基准 WGO-Bench 及奖励基准 RoboReward、Robometer 上取得 SOTA,内部基准与 GPT-6 Astra 相当,成本约为后者的 1/125。该引擎已在 512 块 GB300 上每天标注 20 万小时数据,并已开源,供研究者扩展自定义机器人数据集。
研究提出 P³-WAM 统一世界动作模型,面向第一视角灵巧操作,包含 Perceive(从视频重建关节手部运动与相机轨迹)、Predict(按给定动作生成视觉未来)、Plan(以初始图像、语言指令和可选视觉目标为条件,联合生成动作轨迹与预期视觉后果)三种模式。模型采用混合 Transformer 架构,将结构化三维动作表示接入预训练视频扩散 Transformer,共享基础权重并设模态特定适配与双向视觉-动作注意力,随机化模态可见性使视频与三维动作可作条件或预测目标。实验称统一训练在四项数据集的三维手部重建与动作条件视频预测上优于专用基线,生成的操作视频在指令遵循与动作推进上强于视频生成基线。

