跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究对FastWAM与OpenWAM做受控的未来视频预测损失消融,固定模型架构、初始化、机器人训练数据与训练步数。在已见任务的干净条件下,预测监督分别将成功率提升24.38和72.91个百分点;轨迹聚类显示多个粗粒度轨迹簇内成功率更高,部分簇频率变化很小,说明增益不只来自轨迹模式分布变化。但在分布偏移下增益不稳定:未见任务上的提升因模型和任务而异,两种模型在环境随机化下成功率均偏低,预测监督无一致优势。作者还将未来视频预测作为π0.5的辅助训练目标,仅训练时使用的轻量Transformer预测器把成功率从82.94%提升到89.19%。

    arXiv cs.RO研究具身智能强化学习大模型

  2. 研究提出 ARPG 方法,将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器,训练 1.3 亿参数的生成主干网络,在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能,双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示,更广泛覆盖人类操作行为可有效提升下游性能,作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。

    arXiv cs.RO研究具身智能灵巧手强化学习

  3. 该论文提出 HumanoidNDM,一个由真实世界训练的神经动力学模型驱动的人形机器人运动跟踪在线微调框架,用于弥合训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法;模型训练阶段在欧氏空间中训练基于历史本体感知的神经动力学模型,并引入可微前向运动学,从而不依赖动作捕捉系统;策略微调阶段通过反向传播模型梯度直接微调策略。作者在 Unitree G1 机器人上完成物理验证,称其能快速适应多种扰动,并称这是首个面向人形机器人跟踪策略的在线、无需动作捕捉的微调框架。

    arXiv cs.RO研究人形机器人运动控制强化学习

  4. RoboLongR 提出离线到在线的框架,学习依赖历史的奖励以引导策略适应新任务,核心目标是因果一致性,即被奖励的进展须与执行历史支持的前提条件对齐。方法包含阶段打乱监督、循环记忆和两轮训练,奖励引导阶段条件策略从行为克隆精炼至在线强化学习。在 88 个 RLBench 任务和 Open-X 数据上预训练后,该工作在未参与奖励预训练的 18 个长程任务上平均成功率 31.8%,高于最强基线 9.2 个百分点;四个真实机器人任务成功率 57.5%,比对比方法高 32.5 个百分点。

    arXiv cs.RO研究具身智能运动控制强化学习

  5. 该论文提出 MimicAll 强化学习框架,用结构化具身描述符编码全局与关节对齐条件,结合观测历史和身体匹配的运动参考预测关节目标偏移,支持跨异构人形机器人共享全身运动跟踪。训练覆盖 16 个人形机器人家族的 4,096 个变体,并构建含 464 个身体、五个分布层级的基准。相同训练转移量下,共享训练在 100STYLE 随机化 G1 身体上 30 秒成功率为 99.4%,单身体专用策略为 42.9%;身体条件不匹配使自注意力成功率从 61.7% 降至 47.0%。

    arXiv cs.RO研究人形机器人具身智能运动控制

  6. arXiv 新论文提出 HA-DiPO(异构智能体扩散策略优化),一个面向异构腿式机器人协同搬运非固定共享负载的分层多智能体强化学习框架,采用集中训练、分散执行(CTDE)架构。高层由集中式评论家利用团队价值估计联合训练各机器人独立的协调策略,低层用本体特定的鲁棒运动策略跟踪协调指令;高层采用扩散策略而非单高斯参数化,以表示潜在的多模态协调响应。策略通过奖励驱动的仿真交互从零学习,无需演示数据;执行时各机器人仅用本地机器人与负载观测生成指令,不依赖伙伴状态或机器人间通信。仿真中最终平均回报、速度跟踪成功率高于基线且速度误差更低,真机实验演示了四足轮腿机器人与人机协同搬运。

    arXiv cs.RO研究四足机器人具身智能运动控制

  7. 一篇综述统计了113种基于学习的灵巧手操作方法,发现该领域已基本收敛到同一范式:在GPU仿真器中基于特权状态做强化学习,再蒸馏为仅依赖视觉的学生策略迁移到硬件;近一半语料采用该路线,且几乎全部集中在一个仿真器中,其后续版本鲜少被使用。另一条增长更快的分支从遥操作演示学习,采用视觉-语言-动作模型、扩散策略,或贡献在于采集装置本身的系统。已发表工作自2022年以来增长两倍,抓取为最大任务类别,双臂协调增长最快,几乎所有实验集中在四种手上。综述还指出,八种可购买或按公开设计制造的手未出现在任何方法论文中。

    arXiv cs.RO研究具身智能灵巧手强化学习

  8. 论文提出多约束灵巧策略优化方法MDPO,将灵巧操作建模为同时包含累积代价约束与逐状态代价约束的多约束策略优化问题,并把多约束投影集成进策略优化过程:用约束特定的策略投影,把最大化任务性能的中间策略映射到两类约束定义的可行域。在ReDMan平台的关节安全控制、手指安全与抓取任务实验中,MDPO相比基线约束满足更优,任务性能保持竞争力,代码已公开。

    arXiv cs.RO研究具身智能灵巧手运动控制

  9. 研究提出一种面向人形机器人任务策略的运行时监控框架,用于在不可恢复跌倒发生前及时触发回退。该方法将监控器合成表述为学习给定回退策略的随机有限时域可恢复性包络,并把数据探索重构为到达-规避问题,由不确定性引导的探索器系统发现未见状态、避开确信不可恢复区域。框架在价值学习与主动探索之间迭代,结合时间差分与蒙特卡洛目标提升分布内价值预测与不确定性估计,并将高不确定性区域显式视为不可恢复以抑制分布外乐观幻觉。在随机基准和29自由度Unitree G1人形机器人上评估,监控覆盖率和准确性大幅提升,并实现零样本迁移到真实硬件。

    arXiv cs.RO研究人形机器人运动控制强化学习

  10. 论文提出自研轮足双足机器人 RAIWAY,采用 20 英寸大轮径,并配套接触信息驱动的滚动运动控制方法,面向不规则、不连续地形。该方法在仿真中把多接触事件蒸馏为潜在表示,部署时仅靠本体感知在线推断,无需接触传感器。实机实验中,系统通过陡坡、砾石地、钉状表面与岩石地形,并在户外楼梯上连续爬升,台阶高度最高 15 cm;在室内外挑战场景中,其表现优于不含接触信息机制的基线控制器。

    arXiv cs.RO研究人形机器人运动控制强化学习

  11. 研究团队在 Shadow Dexterous Hand Lite 上仅用本体感觉和二值触觉反馈(无视觉)完成保定球旋转的零样本仿真到现实迁移,单次连续试验实现 225 次连续 180° 旋转(112.5 整圈),速度约 0.36 转/秒。方法包括传感器对齐的耦合感知仿真具身建模、触觉校准,以及压摆率动作限制和 STuck-AT Taxels 两种回合级域随机化。论文还对比触觉与仅本体感觉的贡献,定位触觉信息最关键的手部区域,并称该结果为保定球操控在旋转次数与速度上的最强硬件报道。

    arXiv cs.RO研究具身智能灵巧手传感器

  12. 论文提出 WorldEcho 评估框架,用视觉完整性和 SE(3) 末端执行器轨迹对齐两项指标,在比专家演示更广的动作分布上检验动作条件世界模型是否真正遵循指令动作。诊断发现,经专家数据训练的模型在演示动作上表现较好,但在非专家轨迹上会生成与指令动作不一致的运动或视觉上无效的推演。为此作者提出 WorldSync,通过扩大动作覆盖、用 Action-Forcing Expert 将中间视频表示锚定到动作引发的机器人动力学、并在动作干预下对齐预测与真值变化。实验显示 WorldSync 降低了 RoboTwin 上的完整性门控误差,用于迭代策略改进时在仿真和真实机器人上成功率更高。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  13. 研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题,提出将动作表征锚定到语义流形,并分解为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证,真实世界分布内任务最高提升18.7%,分布外泛化最高提升21.5%。

    arXiv cs.RO研究具身智能强化学习大模型

  14. 论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。

    arXiv cs.RO研究具身智能强化学习大模型

  15. 该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  16. Astrobee自由飞行机器人在国际空间站完成首次在轨演示:用机器学习热启动加速轨迹优化。方法训练神经网络学习序列凸规划(SCP)求解的轨迹生成问题结构,在轨由网络预测解、SCP求解器强制安全约束。含旋转动力学的案例求解器迭代次数减少60%,障碍物取自热启动模型训练分布的案例减少50%。

    arXiv cs.RO研究运动控制强化学习仿真与数字孪生

  17. RobustRLlib 在统一接口下集成 17 种鲁棒在线、离线与安全强化学习算法,并配套覆盖真实世界扰动及人形机器人、视觉-语言-动作任务的评估平台。该系统在 273 种扰动配置上完成评测,给出当前鲁棒 RL 算法的能力图谱,指出有效区间与仍存在的鲁棒性差距。项目以开源形式发布,代码库可复现、可扩展。

    arXiv cs.RO研究人形机器人具身智能强化学习

  18. DexPort 是面向高自由度机器人手的手持式便携数据采集接口,采集与部署使用同一套手部硬件以消除手部本体差异,同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指运动,无需逐关节控制。研究团队在 4 项任务(多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描)中于实验室与野外采集超过 2,500 条演示,用行为克隆直接训练视觉运动策略。结果显示,使用记录的机器人指令替代状态使成功率从 11% 提升至 64%,使用野外数据使任务成功率从 36% 提升至 78%。

    arXiv cs.RO研究具身智能灵巧手强化学习

  19. 研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。

    arXiv cs.RO研究具身智能强化学习大模型

  20. 论文提出 ViT-H 框架,用扩散模型从单目人类视频直接生成人形机器人参考运动,跳过人体运动重建与重定向两步,并用下游运动跟踪结果通过直接偏好优化对生成器做后训练。作者还给出自回归变体,在 Unitree G1 上实现延迟低于 400 毫秒的实时视频遥操作。实验称其在运动质量与可执行性上优于现有“重建-重定向-跟踪”流水线,且随模型规模、预训练与后训练数据规模扩展表现良好。

    arXiv cs.RO研究人形机器人具身智能运动控制