研究提出 NestedVLA,可在不访问原始训练数据的情况下整合多个独立微调的 VLA 策略:嵌入 VLA 的超网络为选定任务生成动作专家权重更新,每个任务的压缩视觉-语言模型更新单独存储,两类更新叠加到冻结的基础 VLA 上实例化对应策略。在 MetaWorld、ManiSkill、CALVIN 上用强化学习微调的三个策略上评估,平均成功率 66.7%,比最强模型合并基线高 41.1 个百分点;在 ManiSkill 上与逐任务微调差距在 1 个百分点内,在 CALVIN 上明显缩小差距;三策略设置下总存储为单个完整检查点的 1.5 倍。代码已开源于 GitHub。
机器人行业洞察
今日精选
The robotics journal行业消息
该博士论文提出离线训练神经隐式表征来近似Hamilton-Jacobi可达性值函数,使基于优化的控制器能在未知动态环境中实时获得安全信息。方法利用值函数等于直接计算的约束(如符号距离)减去非负动力学修正项的性质,仅学习修正项以保证近似误差下障碍物仍位于预测安全集之外。前四种方法分别将学习函数用作模型预测控制的终端约束和控制屏障函数安全滤波器的屏障候选,覆盖静态环境与数量可变的移动障碍物;地面与空中机器人的仿真和硬件实验显示其避碰效果优于几何与手工设计基线,尤其在短时域和移动障碍物场景。第五种方法用可并行化的顶点树搜索替代网格离线求解器,可为最多13个状态的系统生成屏障候选。
ForeTac 提出“表示-预测-评估-引导”框架:编码当前触觉状态,以候选动作序列为条件预测未来触觉潜在轨迹,并用从成功/失败物理交互中学到的接触质量目标评估轨迹;推理时将该目标梯度经触觉预测器反传以引导动作生成,模型参数保持冻结。在平面擦拭、曲面擦拭、刷卡、易碎物抓取四项真实机器人任务上,配合扩散策略将平均任务成功率从36.3%提升至71.3%、平均接触成功率从20.0%提升至66.3%,流匹配策略下两项指标同样提升。
研究提出模块化方案:在真实世界接触密集片段自主采集密集数据,再用离线强化学习训练局部策略,并与传统运动规划结合完成长时程装配。四个真实任务中仅用2–2.5小时自主采集数据,长时程任务平均成功率96%,仅规划基线55%、最强端到端基线37%;局部策略施加力降低49%,场景级分布外场景成功率仍达90%,共完成超1500次真实世界评估。
论文提出 PAKE 全身控制框架,将移动操作分解为部分参考运动生成与底层模仿控制,并引入在大规模运动学数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样化部分运动学参考。高层控制器在 KNF 潜在空间中导航以利用冗余解,底层控制器学习动态一致的运动执行。在配备六自由度机械臂的四足机器人上验证:仿真中于 4000 个目标基准上跟踪精度与可行工作空间覆盖优于基线;硬件上在 8 类移动操作任务共 24 个回合中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,线速度、角速度误差分别为 0.1 m/s 和 0.01 rad/s。
该论文提出DEFLECT离线后训练框架,利用录制轨迹中执行时刻观测与预测时刻观测的时序对比构建偏好监督,解决异步VLA推理中动作块与执行时刻状态错配的问题。在Kinetix、LIBERO及三个真实机器人任务上测试,最长支持延迟下Kinetix成功率较VLASH提升4.2个百分点,LIBERO上较使用GR00T N1.7的朴素异步执行提升22.7个百分点。
Kamino 是一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向异构、强耦合机械系统的大规模并行仿真。它原生支持运动学闭环,无需把系统拓扑近似为运动学树再加闭环约束或 mimic 关节;核心是基于 ADMM 的约束优化算法,将约束刚体多体正向动力学转写为非线性互补问题求解约束力,从而在不简化或凸化接触模型的情况下解析接触动力学。作者在含六个嵌套运动学闭环的双足机器人上训练强化学习策略,单块 GPU 并行仿真 4,096 个环境,得到可行行走策略。
该论文提出从少量专家演示数据集中学习潜在动作作为归纳偏置,用于足式机器人直接关节级力矩控制的强化学习。该方法使策略直接利用专家动作知识、提升探索效率,智能体不受演示奖励水平限制,迁移任务性能显著提升;潜在动作先验与模仿风格奖励结合可更接近复现专家行为。
论文提出P3L(Preference-PCA Pluralistic Learning)框架,通过PCA分解从匿名众包反馈中联合学习轨迹嵌入与偏好方向的共享基,无需标注者身份即可完成多元对齐。测试阶段可快速进行个性化奖励学习与下游策略优化。在多个具身控制任务上,P3L实现可引导的个性化对齐,能泛化到离线数据集之外的分布外新用户,RL与测试性能具竞争力,同时显著降低计算成本并支持可变的适应查询预算。
提出 AdaDex 目标条件强化学习框架,将一段数秒的单手-物体轨迹(动捕数据或从野外 RGB(D) 视频重建的 HOI)转化为可适应灵巧技能。核心方法为混合灵巧模仿:共享策略同时在两类大规模并行环境上训练,一类用稠密运动跟踪目标注入人类先验,另一类用带噪声初始状态与目标及稀疏物体成功奖励迫使技能偏离参考。所得策略可完成功能性抓取、物体重摆、带手指步态的手内重定向及抛接等动态行为,在泛化性与功能性上优于基线,并实现跨仿真器迁移与真机迁移。
PhysCanvas 是一个状态一致的视觉-触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成主干。其一致性感知后训练使用冻结的场景、模态与状态奖励模型进行监督。在四个真实操作任务中,世界模型推演与真实成功率的任务级皮尔逊相关系数均值由 0.602 升至 0.885;在奖励引导世界模型中后训练使 π0.5 真实成功率从 59.1% 的 SFT 基线提升至 70.8%。
该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。
SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。
SuperMimic 提出用一个可微世界模型摊销人形机器人全身运动跟踪的学习成本,该世界模型由标准刚体仿真器的转移数据拟合,并与跟踪策略在同一循环中联合训练,通过短时想象 rollout 的时间反向传播提供解析梯度。在单块 GPU 上训练 3 小时,其回报超过在 128 块 GPU 上训练 7 天的当前最优基线,GPU 小时数减少超过 1000 倍;在 129,514 个基准运动上失败 25 个,基线失败 179 个。两块 GPU 训练 9.8 小时后实现零失败,策略可迁移到实体 Unitree G1 完成多样高难度动作。
研究团队提出 FRDV 框架,将人体运动捕捉数据重定向到不同人形机器人:运动学阶段结合自定义序列二次规划求解器、实时迭代与分块并行处理,最高达每秒 9,156 帧,比 GMR 和 ProtoMotions 快约 136 倍,并在优化中加入机器人特定约束以减少地面穿透与自碰撞。对需进一步验证的动作,用接触隐式 iLQR 控制器在完整刚体动力学下检验,识别动力学不可行动作并修正脚部悬空、打滑。团队用多条现有流水线训练运动跟踪强化学习策略,比较跟踪保真度与成功率,并在宇树 G1 人形机器人上完成 sim-to-real 迁移。
该研究提出强化迭代学习控制(RILC),将迭代学习控制与强化学习并发耦合:ILC提供高质量样本,RL作为跨迭代的泛化策略,从而在无需逐轨迹单独学习的情况下实现首次试验即高性能跟踪。论文给出理论证明,表明RL分量保持ILC稳定性,并在特定条件下可渐近降低误差界。实验在欠驱动4自由度串联弹性机器人上,针对不同轨迹与建模失配进行仿真与验证。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征:预训练阶段用冻结的3D基础模型提供稠密几何特征,将其压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何过渡施加动作监督,提取强调动作相关过渡的互补运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征则沿动作生成路径引导中间特征,未来观测仅在训练时作为特权监督、推理时不需要。在LIBERO、LIBERO-Plus、SimplerEnv及真实双臂与单臂任务上,该方法一致提升下游策略,在WidowX评测上绝对提升10.4个百分点,并在多种VLA架构与WAM上验证了迁移效果,代码将发布于GitHub。
arXiv 2610.28011v1 提交了一篇研究,考察期望自由能(EFE)能否作为测试时计算控制器,决定在世界模型规划中投入多少计算。作者把目标距离与随机预测间的分歧合成一个 EFE 式目标,分别测试候选评分、停止规则和在线预测器更新。结果显示:当精英成本停滞即停止,在成功率随深度趋于平台的任务上会减少细化,平均成功率接近固定深度参考;较大权重下奖励分歧会降低冻结模型的成功率,惩罚分歧则因任务和权重而异。训练数据缺少到达目标所需区域时,在线更新可恢复部分损失;成本停滞规则在后续优化利用模型错误时会失效,因为任务成功率见顶后预测成本仍下降。
LocoPilot 在12自由度 Unitree Go2 四足机器人上实现单操作员双边遥操作与数据采集,该机器人搭载6自由度 AgileX Piper L 机械臂、RealSense D435 腕部相机与 D405 头部相机;第二台 Piper L 作为主端,配合两个手持控制器同时控制基座、机体姿态、机械臂与夹爪。从端交互力在无专用力/力矩传感器条件下估计,经无源性约束力觉通道反馈给操作员;ROS 2 流水线记录同步多模态观测与遥操作、部署共用的11维动作。作者在多个移动操作任务上评估接口,并在抓取放置示范上微调 MolmoAct2 后部署到实体机器人,无需动作重定向或额外逆运动学。
研究团队提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在模拟的“杯中取物入盒”任务中,18名新手与4名专家在三种渲染方式下共采集2200次试验:看到仅强调拇指和食指的新手从600次试验中获得441次成功示教,而看到真实手形的新手为320次。用这些示教训练扩散策略并将观测替换为手部关键点与两个物体关键点后,400步内该条件从点云策略下三种新手条件中最弱的46.3%升至关键点策略下最强的57.3%,五个随机种子均提升11.0个百分点;强调全部关键点的示教变化至多+0.7个百分点。

