该研究提出一种多视角潜在动作模型(LAM),用交叉注意力融合同步多相机视角,先解析深度与遮挡,再压缩为潜在动作;潜在动作输入由冻结VLM主干、潜在专家与动作专家经序列流匹配耦合的策略。在严格跨具身设定下,双视角LAM预训练使真值6D动作可解码性较单视角提升17%,而单视角数据扩大两个数量级仍不足以完全恢复平面外运动;下游策略成功率提升+13.5%,单视角LAM为+6.2%。单一跨具身数据即可实现技能迁移,增加第二个视角优于再增加最多四个具身;在硬件上以人类手部演示迁移,850次rollout中成功率较仅动作策略提升+20%。
机器人行业洞察
今日精选
The robotics journal行业消息
该论文提出 RLTrajGen-PPMPC-CBF 分层框架,用于自动驾驶车辆在环岛场景下的安全、平顺与舒适导航,以解决强化学习逐点决策与 MPC 轨迹级优化之间的结构性不匹配问题。框架采用预设性能约束(PPC)使参考轨迹与控制输出逐步稳定收敛,并通过控制屏障函数(CBF)层提供实时安全修正并反馈至 RL 过程。在 MetaDrive 仿真环境中,该方法相较最优基线将平均成功率提升 6.25%、运动病剂量值(MSDV)降低 65.87%,同时加快训练收敛。
该预印本提出以自适应通行管(ATT)为核心的姿态感知导航框架,将沿参考路径的通道宽度场与社交舒适度统一为连续信号,并通过区间速度—航向(IVH)控制把宽度映射为正面到侧步的连续姿态调度与全向速度指令。配套的以速度为条件的 AMP 策略使用经 GVHMR 重定向的正面/侧步运动数据训练,并加入 (v_x, v_y) 跟踪奖励,目标是在保持与默认机载策略可互换的同时提升姿态过渡稳定性。论文称完整方法已给出,计划在 Unitree G1 上开展评估,量化结果尚未发布,MuJoCo 仿真与真机演示视频已公开在 GitHub。
论文提出 AWLS(优势加权潜在引导),一种离线后训练方法,用于改进已冻结的单步生成式机器人操作策略,且不更新其解码器。该方法学习一个以观测为条件的残差噪声整形器,对策略的潜在噪声做残差修正,并用优势加权的动作重建目标训练;优势值经分离与尺度归一化后仅作为演示动作的监督权重,避免评论家梯度更新策略,同时保留单步推理速度。作者还提出无需 rollout 的解码器敏感度准则,用于挑选对潜在噪声扰动仍敏感的预训练检查点。在仿真与真实机器人操作任务(干净与混合质量演示)上,AWLS 优于冻结基座策略并限制相对预训练行为先验的漂移。
PLaCA 提出一种世界到动作框架,从当前多模态输入直接预测具有空间结构的 patch 级未来潜在变化,并引入 patch 级变化感知监督与未来到动作接口,将预测变化显式纳入动作生成。在 LIBERO-Long 上成功率达 79.0%,较仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度由 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。
论文指出,在成功的目标导向演示上训练的动作条件视频生成模型会忽略动作指令,原因在于训练数据的动作影响不足,并证明数据本身构成模型可表达动作影响的上界,专家演示的狭窄动作分布使该上界偏低。作者提出主动采集数据的 Action Influence Maximization(AIM)算法,在仿真导航与操作任务中与探索启发式、内在动机方法对比。在基于像素的操作任务中,AIM 是唯一持续提升可控性的方法:在 3k 条演示基础上新增 500 条主动采集回合,其末端执行器可控性即达到用 300k 条专家回合训练的世界模型水平,数据量减少 85 倍。
EmbodyHOI 在冻结的流匹配手-物交互轨迹生成器采样循环内嵌入针对特定人形本体的可微逆运动学求解器,将梯度回传以联合优化人形相对物体的位置,引导仅在推理阶段生效,因此一个在人体手部姿态上训练的生成器无需重训练即可迁移到不同人形本体。在 ARCTIC 轨迹上,针对宇树 G1 与 H1-2 两款人形机器人,该方法将重定向后的腕部误差从 8.9 cm 降至 0.6 cm,50 个随机 G1 任务成功率从 68% 升至 79%,四项任务 H1-2 套件从 62% 升至 76%。作者称事后腕部精修与等算力 best-of-N 选择虽 IK 能量更低,但训练出的策略更差。
该论文针对线性组合分数的扩散策略提出一种可直接插入的分数去相关辅助损失,动机来自投影组合理论,通过直接惩罚各组件噪声预测之间的重叠来促使因子专门化,几乎不改动架构、不增加计算开销。作者在多个基准上验证,该损失持续减少组件间可测量的重复计数、改善任务分解,并在不损害多任务性能的前提下产生行为上有意义的专门化。
作者提出具身恢复重规划环境ERR-Env,为任务进度与执行错误提供反馈,并构建覆盖正常、中间与错误状态的留出任务基准ERR-Bench。其在线强化学习方法AGT-GSPO结合回合级奖励与动作分组优势估计,训练出2B参数的具身VLM ERR-VLM。在ERR-Bench上,ERR-VLM的无错误完成严格成功率提升10.25个百分点,恢复率提升22.95个百分点;评估还显示多种VLM的任务进度与执行可靠性存在不匹配。
Isaac Lab 发布 v3.0.0 正式版,作为新项目及从 2.x 迁移的推荐基线。新版本提供跨多种物理、渲染与可视化后端的统一任务 API,支持基于 Newton 与 OV 库后端的无 Kit 执行和 Warp 原生数据通路。Newton 为 Warp 原生物理后端,含 MuJoCo-Warp、VBD、MPM 求解器路径,可支持刚体、可变形体与粒子;Isaac Sim 变为可选组件。版本适配 Isaac Sim 6.2、Python 3.12、PyTorch 2.11(CUDA 13.0)、Warp 1.17、Newton 1.6.1 与 RSL-RL 5.5.1。
研究提出在标准腹腔镜器械上安装传感器记录外科医生操作,无需机器人采集演示即可训练双臂手术策略,并在活兔上完成阑尾切除术。

