研究团队提出Embodied Agent Arena,在几何、空间推理、可供性、任务规划与操作五个维度评测十个VLM智能体,1000个案例由32个既有来源与自建GeoProbe基准(168案例,覆盖相机、运动、深度与尺度估计)组成。结果显示闭源权重模型在全部五个领域领先,开源权重VLM空间推理可用但规划与操作成功率明显更低。执行中智能体可达成早期子目标却失去物体控制、将动作绑定到错误接收区域或提前停止;代码修复能恢复执行但不完成任务,自我审查可能推翻正确判断。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 WorldEcho 评估框架,用视觉完整性和 SE(3) 末端执行器轨迹对齐两项指标,在比专家演示更广的动作分布上检验动作条件世界模型是否真正遵循指令动作。诊断发现,经专家数据训练的模型在演示动作上表现较好,但在非专家轨迹上会生成与指令动作不一致的运动或视觉上无效的推演。为此作者提出 WorldSync,通过扩大动作覆盖、用 Action-Forcing Expert 将中间视频表示锚定到动作引发的机器人动力学、并在动作干预下对齐预测与真值变化。实验显示 WorldSync 降低了 RoboTwin 上的完整性门控误差,用于迭代策略改进时在仿真和真实机器人上成功率更高。
该论文提出 PartialBiGrasp 双臂抓取生成框架,直接以部分点云观测为输入,不依赖完整点云。模型通过卷积占用网络隐式学习几何特征,对可抓取性、无碰撞接触区域和物体厚度进行局部推理,生成满足力闭合约束的抓取对,再用基于采样的优化修正不完整几何带来的歧义。验证包括解析力闭合指标、大规模仿真实验,以及在含噪声部分点云的新物体上开展的真实机器人实验。
论文提出 Graph-as-Policy(GaP)多智能体编码框架,从模块化开放机器人技能库(MORSL)生成含感知、规划、控制节点的有向计算图,用于物体几何与位姿变化较大的“变异性自动化”(VA)任务。GaP 构建内部仿真环境,并行用不同图排练任务实例,迭代优化图结构与参数以提升成功率和吞吐量。作者在 8 个新开放 VA 基准(4 个仿真、4 个真实世界)上评估,称成功率显著优于基线,并公开代码与数据。
研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题,提出将动作表征锚定到语义流形,并分解为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证,真实世界分布内任务最高提升18.7%,分布外泛化最高提升21.5%。
论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。
该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。
SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
RobustRLlib 在统一接口下集成 17 种鲁棒在线、离线与安全强化学习算法,并配套覆盖真实世界扰动及人形机器人、视觉-语言-动作任务的评估平台。该系统在 273 种扰动配置上完成评测,给出当前鲁棒 RL 算法的能力图谱,指出有效区间与仍存在的鲁棒性差距。项目以开源形式发布,代码库可复现、可扩展。
首尔大学研究团队提出从大规模演示数据中学习速度先验,给定任务指令、运动路径及沿途图像预测执行速度分布,取分位数作为统一时钟对演示重定时,单个先验覆盖语料库全部任务。该方法在机器人遥操作与手持演示数据上拟合,将机器人演示重定时为手持节奏后微调视觉-语言-动作策略,执行时配合实时最优控制层跟踪动作块。在120个RoboLab任务上,微调策略成功率更高、抖动最多降低一半;真实机器人叠杯耗时3.50秒,比默认策略6.02秒快1.72倍,30次试验成功29次。
DexPort 是面向高自由度机器人手的手持式便携数据采集接口,采集与部署使用同一套手部硬件以消除手部本体差异,同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指运动,无需逐关节控制。研究团队在 4 项任务(多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描)中于实验室与野外采集超过 2,500 条演示,用行为克隆直接训练视觉运动策略。结果显示,使用记录的机器人指令替代状态使成功率从 11% 提升至 64%,使用野外数据使任务成功率从 36% 提升至 78%。
研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。
论文提出 ViT-H 框架,用扩散模型从单目人类视频直接生成人形机器人参考运动,跳过人体运动重建与重定向两步,并用下游运动跟踪结果通过直接偏好优化对生成器做后训练。作者还给出自回归变体,在 Unitree G1 上实现延迟低于 400 毫秒的实时视频遥操作。实验称其在运动质量与可执行性上优于现有“重建-重定向-跟踪”流水线,且随模型规模、预训练与后训练数据规模扩展表现良好。
该研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合:放置模块从外部视觉识别任务特定解剖起点并确立初始探头位姿为参考系,基于流的策略依据锚点相对位姿、超声图像、探头相机视图与接触力生成扫查动作,终止头预测任务完成。手持采集平台可在无机器人条件下采集自由手扫查的多模态演示。在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集与桡动脉扫查成功率分别为96%、94%、88%、94%;相比微调pi_0模型,腹部任务成功率提升10-42个百分点,目标到达时间、峰值接触力与轨迹抖动更低。自动放置端到端试验成功率90-100%,策略无需重训迁移至第二台机器人成功率83-100%。
DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。
论文提出 LogLook,一种面向前沿视觉语言模型机器人规划器的执行锚定记忆机制:系统保留执行日志与模型此前笔记,由模型决定查看位置,仅在预期变化处返回帧,并在检查所选部分前先略读演示。用基准的运动规划器测量,LogLook 在 token 减少 43%、图像用量不到一半的情况下达到与仅笔记记忆相同的成功率,因记忆或所见内容导致的失败回合大幅减少;直接控制下在 RoboMME 测试集上解决 93.5%。
MAST-VLA提出一种双条件机器人操作框架:在LLM主干中引入技能条件化的LoRA混合专家适配器,用技能查询token与路由偏置引导低秩专家特化;同时把预测的可供性热图转为动作头的patch级轨迹-可供性空间先验。在CALVIN ABC→D长时程多技能跨场景泛化设置上,五子任务评估序列平均长度达4.65,作者称达到最先进水平;真实机器人多技能序列实验验证了其在真实感知与控制噪声下的可部署性。
研究团队在Unitree Go2四足机器人上搭载AgileX Piper机械臂,实现闭环移动操作(loco-manipulation),并系统梳理了从固定基座机械臂迁移到腿式平台时,在数据采集、模型适配与推理设计上的实际需求。作者报告了使真机部署可行的关键选择,包括模型变体、动作时域和示教约定,并针对抓取放置任务区分数据覆盖与模型容量。结果显示,扩大示教覆盖使留出的末端执行器误差降低30%;引入推而非抓等次级技能可带来新行为模式且不降低基线性能。真机闭环实验表明数据集构成会影响任务成败。
论文提出 RoboCode,用共享的软门控基元动作接口学习跨任务复用的短时程动作模式:每个动作块被表示为多个已学习基元的软组合,而非单个离散编码;该接口从多任务汇集的动作块中学习后冻结,再训练任务特定的状态编码器将状态映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,编码激活分析显示跨任务存在结构化编码复用;闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和更大规模 Diffusion Policy 基线的 41.6%。
研究团队发现 OpenVLA 激活的稀疏自编码器(SAE)表征含有可预测任务结果的信息,能在机器人进入不可恢复状态前预测失败。他们识别出强激活与成功或失败特定阶段对应的单个 SAE 特征,并通过定位特征激活显著变化的时间区间归纳出反复出现的行为模式。团队还构建基于 VLM 的解释流程为这些模式生成行为描述,并在留出区间上验证描述与特征激活的对应关系。

