研究团队提出 EmbodiedLab 基准,要求机器人在物理仿真实验室中「为知而行」:智能体获得目标与实验装置后自行选择流程,通过相机读取仪器,改变系统状态并观察反馈,直至发现规律或达成目标。该基准覆盖五个学科、14 个实验装置平台上的 30 个实验,每个实例重新采样系统参数,结果无法预先得知但可精确评分,且每个实验均经验证可解。团队在开发者编码智能体中评估六个前沿模型,比较原生控制、增加感知与运动规划、以及从最强智能体蒸馏操作技能三种配置;原生控制下最强智能体成功率不足一半,多数失败发生在与装置交互环节,操作技能对较弱智能体的提升大于感知与规划。基准与评估代码已在 GitHub 开源。
机器人行业洞察
今日精选
The robotics journal行业消息
Zero-HLM 提出 real-to-sim-to-real 框架,用智能手机拍摄与仿真源演示生成人形机器人移动操作训练数据,无需真实机器人数据。其高斯引导的智能体式重建对齐视觉与物理场景,运动-环境协同适应用 rollout 反馈修正全身参考与交互几何,共生成 4,800 条经物理验证的演示。在三个 Unitree G1 任务上,仿真训练的 GR00T N1.7 零样本迁移平均全任务成功率为 66.7%,真实数据训练为 46.7%;泛化配置下池化成功率由 23% 升至 69%。
SceneAgent是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3DGS、摄影测量、LiDAR采集、AI生成3DGS场景及4D动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节化与可变形仿真,并生成物体变体与脚本化演示以支持策略学习。在GraspClutter6D杂乱料箱场景中,所有具备可评分输出的编码智能体配置F1均超过SimFoundry,最佳60.75%对6.9%;在4DCodeBench三个动态场景上,Gemini 4 Argon平均动态IoU从0.86%升至99.09%。作者还展示了多样化仿真交互及向真实机器人的初步策略迁移。
研究团队提出示意图引导具身导航工作流,包含数据生成流水线与闭环框架 ScheNav。其轻量流水线将二维平面图转为导航训练环境,产出 Furnished-RPLAN 数据集,含逾 3.3 万个带家具布局及配对的导航回合与噪声可控示意图。ScheNav 用学习到的空间模块 SchemaField 融合示意图引导与累积观测,预测空间价值场并随探索更新,配合基于轨迹的训练和跨帧一致性目标。实验显示在示意图、目标椭圆和指向方向下导航成功率与路径效率提升,并对示意图扰动和缺失有容忍度。
该论文提出 HumanoidNDM,一个由真实世界训练的神经动力学模型驱动的人形机器人运动跟踪在线微调框架,用于弥合训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法;模型训练阶段在欧氏空间中训练基于历史本体感知的神经动力学模型,并引入可微前向运动学,从而不依赖动作捕捉系统;策略微调阶段通过反向传播模型梯度直接微调策略。作者在 Unitree G1 机器人上完成物理验证,称其能快速适应多种扰动,并称这是首个面向人形机器人跟踪策略的在线、无需动作捕捉的微调框架。
研究提出 Scan2Instruction 与 PRPT-KS 两项设计:前者将一次 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合,替代现场遥操作采集人类演示;后者通过从重建场景直接读取的闭式帕累托效用完成策略自适应,无需学习评论家与人工标注。在五个真实环境中,二者结合使 RealNav 真实机器人成功率达 85%,基于人类演示后训练的基线为 49%;在同一建筑未扫描区域成功率为 82%,基线为 41%。
研究者提出 WorldFailBench 基准,用于检验世界模型能否忠实模拟机器人策略的失败方式,包含失败原因、失败阶段、失败边界三项评估任务。基准覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,这些模型在理解策略失败方面存在显著差距。
一篇综述统计了113种基于学习的灵巧手操作方法,发现该领域已基本收敛到同一范式:在GPU仿真器中基于特权状态做强化学习,再蒸馏为仅依赖视觉的学生策略迁移到硬件;近一半语料采用该路线,且几乎全部集中在一个仿真器中,其后续版本鲜少被使用。另一条增长更快的分支从遥操作演示学习,采用视觉-语言-动作模型、扩散策略,或贡献在于采集装置本身的系统。已发表工作自2022年以来增长两倍,抓取为最大任务类别,双臂协调增长最快,几乎所有实验集中在四种手上。综述还指出,八种可购买或按公开设计制造的手未出现在任何方法论文中。
论文提出自研轮足双足机器人 RAIWAY,采用 20 英寸大轮径,并配套接触信息驱动的滚动运动控制方法,面向不规则、不连续地形。该方法在仿真中把多接触事件蒸馏为潜在表示,部署时仅靠本体感知在线推断,无需接触传感器。实机实验中,系统通过陡坡、砾石地、钉状表面与岩石地形,并在户外楼梯上连续爬升,台阶高度最高 15 cm;在室内外挑战场景中,其表现优于不含接触信息机制的基线控制器。
研究团队发布 ContactBench 1.0 富接触操作基准,基于对日常人类操作的观察归纳出八项基本技能,用 36 个参考任务和 40 多个物体资产实例化。资产可在消费级 3D 打印机上可复现制造,每个资产配有匹配仿真模型,并支持真实与仿真环境中的受控任务变体以评估泛化。在六个任务上评估近期纯视觉与视觉-触觉策略学习方法:纯视觉策略难以感知或响应接触事件,视觉-触觉策略也未带来显著性能提升。基准将在项目页开源。
arXiv 论文提出 ArtifactArena 开放式评测平台,要求模型完成物理落地的软硬件协同设计任务:设计功能完整的机器人,并在仿真竞技场中对战。评测覆盖零样本、验证器引导的迭代优化和开放式物理设计三种能力,分别依据文本描述、物理仿真器反馈和对战数据改进机器人制品;模型排名由制品间一对一锦标赛的 Elo 分决定。框架与锦标赛基础设施对外开放,供社区持续提交,以构建不会饱和的测试平台。
研究团队提出 RMMBench 评测基准,将高层与低层具身任务整合进统一框架,构建含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航。该基准要求机器人在连续空间中理解语言指令并执行长时程任务,以弥补现有基准任务类型与评测指标有限的问题。结果显示,领先的视觉语言模型在移动操作任务的空间定位上仍存在明显不足,长时程交互中机器人空间感知能力有待增强。
论文提出 WorldEcho 评估框架,用视觉完整性和 SE(3) 末端执行器轨迹对齐两项指标,在比专家演示更广的动作分布上检验动作条件世界模型是否真正遵循指令动作。诊断发现,经专家数据训练的模型在演示动作上表现较好,但在非专家轨迹上会生成与指令动作不一致的运动或视觉上无效的推演。为此作者提出 WorldSync,通过扩大动作覆盖、用 Action-Forcing Expert 将中间视频表示锚定到动作引发的机器人动力学、并在动作干预下对齐预测与真值变化。实验显示 WorldSync 降低了 RoboTwin 上的完整性门控误差,用于迭代策略改进时在仿真和真实机器人上成功率更高。
该论文提出 PartialBiGrasp 双臂抓取生成框架,直接以部分点云观测为输入,不依赖完整点云。模型通过卷积占用网络隐式学习几何特征,对可抓取性、无碰撞接触区域和物体厚度进行局部推理,生成满足力闭合约束的抓取对,再用基于采样的优化修正不完整几何带来的歧义。验证包括解析力闭合指标、大规模仿真实验,以及在含噪声部分点云的新物体上开展的真实机器人实验。
论文提出 Graph-as-Policy(GaP)多智能体编码框架,从模块化开放机器人技能库(MORSL)生成含感知、规划、控制节点的有向计算图,用于物体几何与位姿变化较大的“变异性自动化”(VA)任务。GaP 构建内部仿真环境,并行用不同图排练任务实例,迭代优化图结构与参数以提升成功率和吞吐量。作者在 8 个新开放 VA 基准(4 个仿真、4 个真实世界)上评估,称成功率显著优于基线,并公开代码与数据。
该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。
SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
Astrobee自由飞行机器人在国际空间站完成首次在轨演示:用机器学习热启动加速轨迹优化。方法训练神经网络学习序列凸规划(SCP)求解的轨迹生成问题结构,在轨由网络预测解、SCP求解器强制安全约束。含旋转动力学的案例求解器迭代次数减少60%,障碍物取自热启动模型训练分布的案例减少50%。
研究提出一种接入ROS 2 Nav2的自然语言策略接口:本地大语言模型将操作员指令转为JSON策略,指定目的地、空间约束及时间或事件条件,确定性检查决定任务是否接受,三个代价地图适配器把接受的策略投影进现有导航栈,不改动规划器与控制器。在150条研究者编写的英文指令上,四个本地模型产出107-142条正确接受策略,规则解析器为44条,各模型错误接受3-20次;故障注入中8个端点/JSON故障与29个验证器阶段故障被拒。仿真与TurtleBot3实验中,任务1-3平均行驶时间较无策略基线在仿真降低18.4-24.5%、实体平台降低23.1-35.0%。
研究团队发布 CoCarry 数据集,含 220 条同步双人协同搬运序列,覆盖 21 种任务方案、5 种共享物体几何、4 种地形,总时长约 61 分钟。配套提出接触-支撑结构化重定向方法,围绕同一预设物体轨迹联合优化两台人形机器人,用物体局部手部锚点保持四手抓取关系。220 条序列重定向至两台 A3 人形机器人后接触保持率 0.9995,穿透时长较 GMR、OmniRetarget 分别降低 67.0% 和 71.0%,成功率 100%;在 Unitree G1 上的 CORE4D 测试接触保持率 0.9906、滑动为零,并经物理仿真与两台实体 A3 实验验证。

