Zero-HLM 提出 real-to-sim-to-real 框架,用智能手机拍摄与仿真源演示生成人形机器人移动操作训练数据,无需真实机器人数据。其高斯引导的智能体式重建对齐视觉与物理场景,运动-环境协同适应用 rollout 反馈修正全身参考与交互几何,共生成 4,800 条经物理验证的演示。在三个 Unitree G1 任务上,仿真训练的 GR00T N1.7 零样本迁移平均全任务成功率为 66.7%,真实数据训练为 46.7%;泛化配置下池化成功率由 23% 升至 69%。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出VISTA元智能体框架,把具身智能体的事后rollout反思改为主动自我探索:维护记录harness谱系的harness图,使元智能体可检索先前假设、复用有效机制并避免重复失败方向;每轮从保留的harness版本及其执行证据出发,在环境中自主生成新rollout、探查失败与恢复行为,据此迭代修改harness并重新评估入图。在LIBERO-Pro、RoboCasa、RoboTwin三个基准上,VISTA逐步提升任务成功率,且比静态反思更省rollout,以更少仿真器rollout取得更高成功率。
研究提出 RoboDuo 闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成,失败时由原子 VLA 完成剩余步骤;智能体不输出动作、只决定由哪个 VLA 执行,因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上,RoboDuo 持续提升 X-VLA 和 π0.5,长时程任务增益最大,并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
SceneAgent是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3DGS、摄影测量、LiDAR采集、AI生成3DGS场景及4D动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节化与可变形仿真,并生成物体变体与脚本化演示以支持策略学习。在GraspClutter6D杂乱料箱场景中,所有具备可评分输出的编码智能体配置F1均超过SimFoundry,最佳60.75%对6.9%;在4DCodeBench三个动态场景上,Gemini 4 Argon平均动态IoU从0.86%升至99.09%。作者还展示了多样化仿真交互及向真实机器人的初步策略迁移。
该综述指出,人形机器人正从实验室单机平台转向共享工作空间、基础设施、任务与知识的互联集群,但现有研究大多仍把人形机器人当作独立系统。文章按通信、协调、协作、人机社会交互四项信息交换功能组织网络化人形智能研究,并用一个工厂场景串联四者,沿交互架构、交换信息、物理耦合、运行时间尺度、系统规模、具身形态六个维度梳理文献。作者将物理与仿真人形机器人的结果同其他机器人平台或无实体智能体的结果分开,理由是后者无法体现平衡、全身运动、接触等约束,同时区分本地风险与网络引入的过时信息、不安全知识传播等风险,并列出控制感知网络、以身体为中心的紧凑消息、集群级社会一致性等开放问题。
研究团队提出 OSMA-Bench 基准,用空间匹配、仅障碍物类型不同的场景集,评测家庭机器人导航中的障碍物条件安全运动适应,并提出语义敏感度指数(SSI),衡量间距及随距离变化的速度与平滑度是否遵循障碍物的谨慎度排序。对基于 VLM 和 VLA 的策略评测显示,两者均无法持续按障碍物安全性调整运动,即使给出明确安全提示;策略能按安全相关性区分障碍物,却未在运动参数或动作中体现。对基于 VLM 的策略,在识别障碍物与生成导航程序之间加入显式参数推断步骤可改善适应。
论文提出 RobotAgentBench(RAB)基准,用于在开放世界家庭环境中评估机器人智能体。该基准通过智能体辅助、人在回路的真实到仿真流程,构建 50 个含可交互物体的家庭布局,覆盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。评估分任务级与场景级:任务级考察任务发现、情境推理、操作、失败恢复、鲁棒性五个维度;场景级考察能力整合以满足高层用户需求。实验显示操作能力与自主性之间存在显著差距,智能体架构与递归自我改进具优势。
研究对FastWAM与OpenWAM做受控的未来视频预测损失消融,固定模型架构、初始化、机器人训练数据与训练步数。在已见任务的干净条件下,预测监督分别将成功率提升24.38和72.91个百分点;轨迹聚类显示多个粗粒度轨迹簇内成功率更高,部分簇频率变化很小,说明增益不只来自轨迹模式分布变化。但在分布偏移下增益不稳定:未见任务上的提升因模型和任务而异,两种模型在环境随机化下成功率均偏低,预测监督无一致优势。作者还将未来视频预测作为π0.5的辅助训练目标,仅训练时使用的轻量Transformer预测器把成功率从82.94%提升到89.19%。
论文提出免训练 VLA 推理加速方法 TRIAGE:通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝,漂移低于按主干校准的阈值且缓存不过旧时复用,否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点,Jetson AGX Orin 上预填充延迟最多降低 48%;仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。
研究提出 ARPG 方法,将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器,训练 1.3 亿参数的生成主干网络,在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能,双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示,更广泛覆盖人类操作行为可有效提升下游性能,作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。
该研究提出 ThinkLocoManip,一个面向足式移动操作长程任务的智能体框架,采用交错推理与执行范式,让智能体持续推理状态、执行动作、观察结果并调整策略。框架编排感知、导航、操作与运动四类专用工具,并明确将运动作为智能体推理与执行的工具域;同时设计跨域协调技能与关键帧思考机制,用于保留执行上下文和支持错误恢复。真实世界实验显示,其成功率为 77%,是最强“先规划后执行”基线 37.1% 的两倍以上。
研究团队提出示意图引导具身导航工作流,包含数据生成流水线与闭环框架 ScheNav。其轻量流水线将二维平面图转为导航训练环境,产出 Furnished-RPLAN 数据集,含逾 3.3 万个带家具布局及配对的导航回合与噪声可控示意图。ScheNav 用学习到的空间模块 SchemaField 融合示意图引导与累积观测,预测空间价值场并随探索更新,配合基于轨迹的训练和跨帧一致性目标。实验显示在示意图、目标椭圆和指向方向下导航成功率与路径效率提升,并对示意图扰动和缺失有容忍度。
研究团队提出 HuGe 系列人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一人称人类与机器人数据上预训练,采用三种现有代表性 VLA 架构,为预训练全身控制器预测潜在运动 token 并输出手部控制信号。训练分三阶段:第一人称预训练、人形适配、下游微调;预训练时通过仿真回放构建伪本体感知状态,微调时通过重渲染修改第一人称观测中的手臂外观以缓解形态差异。HuGe 在仿真基准 HumanoidArena 上取得最先进结果;在 Unitree G1 上的真实实验显示,用视觉适配的第一人称示范增强机器人示范可显著提升抓取放置任务成功率。
该论文提出 HumanoidNDM,一个由真实世界训练的神经动力学模型驱动的人形机器人运动跟踪在线微调框架,用于弥合训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法;模型训练阶段在欧氏空间中训练基于历史本体感知的神经动力学模型,并引入可微前向运动学,从而不依赖动作捕捉系统;策略微调阶段通过反向传播模型梯度直接微调策略。作者在 Unitree G1 机器人上完成物理验证,称其能快速适应多种扰动,并称这是首个面向人形机器人跟踪策略的在线、无需动作捕捉的微调框架。
X-World 框架通过固定长度 token 序列将视频扩散模型先验迁移至共享动作专家,用残差跨视角注意力分支把预训练视频骨干扩展至一至三视角并保留原自注意力路径,层对齐 Q-Former 聚合骨干特征,数据集特定模块映射原生状态/动作接口。训练分两阶段:先冻结视频骨干做仅动作预训练,再联合目标域后训练;执行时单次骨干前向提取特征并采用异步动作分块。LIBERO 上平均成功率 98.5%,其检查点在 LIBERO-Plus 上零适配达 76.5%;六个双臂真实任务每任务 20 次试验平均成功率 81.7%。消融显示移除视频适配或跨视角融合的降幅最大。
研究团队发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询,以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%,但在固定训练布局内目标变化时降至 16.1%;VLM 适配与机器人数据预训练提升有限,oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。
RoboLongR 提出离线到在线的框架,学习依赖历史的奖励以引导策略适应新任务,核心目标是因果一致性,即被奖励的进展须与执行历史支持的前提条件对齐。方法包含阶段打乱监督、循环记忆和两轮训练,奖励引导阶段条件策略从行为克隆精炼至在线强化学习。在 88 个 RLBench 任务和 Open-X 数据上预训练后,该工作在未参与奖励预训练的 18 个长程任务上平均成功率 31.8%,高于最强基线 9.2 个百分点;四个真实机器人任务成功率 57.5%,比对比方法高 32.5 个百分点。
研究提出 Scan2Instruction 与 PRPT-KS 两项设计:前者将一次 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合,替代现场遥操作采集人类演示;后者通过从重建场景直接读取的闭式帕累托效用完成策略自适应,无需学习评论家与人工标注。在五个真实环境中,二者结合使 RealNav 真实机器人成功率达 85%,基于人类演示后训练的基线为 49%;在同一建筑未扫描区域成功率为 82%,基线为 41%。
论文提出Open-World Law-to-Action(L2A)框架:视觉-语言模型为每个可动部件提议运动方式、运动规律参数及可能的锁定因素,形成带下限的先验,触觉可随时推翻。机器人用带闭式证据的贝叶斯线性回归在线识别部件运动规律,并保留“未见部件或运动锁定目标”的假设;作者证明仅靠触觉无法排除该假设,并推导出何时值得再次观察。全部实验在仿真中进行,新厨房场景下基于VLM提议的任务完成率为80%,部件全部已知时为98%;所提物理先验使需要新参数的物体成功率从353/400提升至378-383/400,二次观察使混合场景成功率从284/366提升至329/366。
论文提出EXE,一种自我中心跨具身(Egocentric Cross-Embodiment)预训练框架,从人类第一视角操作视频中学习因子化潜在动作表示,将共享的操作先验与具身特定信号分离。作者认为人手与机器人共享伸手、抓取、放置等操作基元,但运动学因具身不同而存在差异,因此需解耦人类特有运动模式以避免干扰机器人策略学习。该方法使同一预训练可同时受益于平行夹爪与灵巧手,在RoboTwin 2.0、RoboCasa GR1及真实世界操作任务上相对无预训练基线取得一致提升。

