该研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合:放置模块从外部视觉识别任务特定解剖起点并确立初始探头位姿为参考系,基于流的策略依据锚点相对位姿、超声图像、探头相机视图与接触力生成扫查动作,终止头预测任务完成。手持采集平台可在无机器人条件下采集自由手扫查的多模态演示。在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集与桡动脉扫查成功率分别为96%、94%、88%、94%;相比微调pi_0模型,腹部任务成功率提升10-42个百分点,目标到达时间、峰值接触力与轨迹抖动更低。自动放置端到端试验成功率90-100%,策略无需重训迁移至第二台机器人成功率83-100%。
机器人行业洞察
今日精选
The robotics journal行业消息
研究在24关节人形机器人上,用单目视频提取的五种运动训练运动跟踪策略,并在独立的CPU MuJoCo测试框架中验证。训练随机化下每个策略30次试验至少26次完成动作;加入40毫秒恒定指令延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。训练时将延迟随机化到0–50毫秒,40毫秒延迟下平均存活率升至95%(75%–100%),裕度提高到50–70毫秒;相同额外迭代但不做延迟随机化的对照组无改善,说明增益来自随机化本身。代价是跟踪精度略降(四种运动0.02–0.06弧度),最具动态性的运动对其他扰动鲁棒性下降。
DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。
MAST-VLA提出一种双条件机器人操作框架:在LLM主干中引入技能条件化的LoRA混合专家适配器,用技能查询token与路由偏置引导低秩专家特化;同时把预测的可供性热图转为动作头的patch级轨迹-可供性空间先验。在CALVIN ABC→D长时程多技能跨场景泛化设置上,五子任务评估序列平均长度达4.65,作者称达到最先进水平;真实机器人多技能序列实验验证了其在真实感知与控制噪声下的可部署性。
论文提出 RoboCode,用共享的软门控基元动作接口学习跨任务复用的短时程动作模式:每个动作块被表示为多个已学习基元的软组合,而非单个离散编码;该接口从多任务汇集的动作块中学习后冻结,再训练任务特定的状态编码器将状态映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,编码激活分析显示跨任务存在结构化编码复用;闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和更大规模 Diffusion Policy 基线的 41.6%。
DiscoDemo 将强化学习用作下游视觉运动模仿学习的数据生成器,而非可部署控制器:训练带特权信息的潜在条件 RL 生成器,结合并行逆向课程与成功门控多样性目标,产出多个成功闭环行为,经安全过滤后导出为静态数据集。在四个操作任务上,仿真中下游成功率由最强基线的 40% 升至 62%,真实机器人上由 39% 升至 78%,成功状态覆盖更广。作者称该多样性收益对预训练流匹配 VLA 有效,并与纠错数据采集互补。
EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与第一人称视频训练策略,以降低含噪动作标签的影响。方法包含可靠性条件化损坏、可靠性加权回归,以及用指数移动平均教师从干净未来场景变化中蒸馏特权未来表征。在 30,000 小时预训练数据下,其扩展斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点;后训练后在仿真与真实灵巧操作中均表现较强。
研究用强化学习训练一个由20台月球小型机器人共享的策略,奖励仅为月夜结束时最冷5台机器人的平均温度,不涉及位置、间距或运动信息。结果涌现出聚集与在受庇护核心和暴露边缘间循环两种行为,与帝企鹅越冬方式相同。十次运行测得生存阈值为155.6±1.3 pcm-h(1 pcm-h=7.2 kJ),比静止抱团低37%,距物理下界13%以内;在静止抱团损失6台机器人的能量预算下全部存活。该行为无需共享空间参考和机器人间接触,可从20台迁移至40台而无需重训。
arXiv 2609.06114v3(替换版)提出DLS方法,将VLA模型适配重新定义为“失败边界学习”,即发现、定位并塑造可恢复偏差与任务失败之间的边界。DLS以少量真实演示加仿真协同训练得到行为先验,通过在线数字孪生推演大规模发现失败边界,并用仿真器特权状态做语义进度定位,给出失败边界被跨越位置的进度感知信号,而非二值标签;这些信号在流动力学中做方向性边界塑造,强化产生成功的去噪方向、抑制产生失败的方向,无需动作似然或辅助评判器。在真实机器人操作任务上,DLS在随机初始状态与未见视觉条件下优于SFT和在线RL基线。
论文提出“最小数据自适应”范式:预训练机器人策略仅凭一次演示,随后通过自主在线交互学习新任务。作者指出,预训练策略在新任务上零样本失败,但单次演示可将其行为先验引导至粗略任务跟随。据此提出 MiDAS,将少演示行为克隆与基于冻结 VLA 表征的价值型残差学习结合,并强调数据平衡以防探索崩溃。在 LIBERO 与 RoboCasa 任务上,MiDAS 从单次演示初始化显著提升性能;在双臂 YAM 平台上,约六小时在线交互后任务成功率提升。
arXiv 发布 FluxVLA Engine(编号 2609.17210v2,替换版),定位为开放、配置驱动的 VLA 工程平台,不提出新的策略模型,而是统一数据集、视觉-语言与世界模型、动作头、奖励/优势加权学习、分布式训练、仿真评测、优化推理和机器人操作端的接口。平台集成可组合双臂仿真、自动数据生成,以及模型解耦的人在环 rollout、接管、纠错采集与奖励标注,并用实时分块(RTC)、加速推理后端、远程 GPU 服务和轨迹后处理支持真机执行。代码已在 GitHub 开源。
研究提出一个真实世界双臂灵巧抓取大尺寸物体的框架,包含采集关节角度、视觉观测与力信号的多模态数据集,基于去噪扩散概率模型(DDPM)从分割点云生成关节级抓取构型的模块,以及将运动规划与在线抓取细化结合的执行策略。该方法可从单视角输入合成可执行的双臂抓取,降低对完整三维物体模型的依赖。在双臂机器人上的实验显示,对几何形状与位姿各异的未见物体取得较高成功率,消融实验验证了各关键组件的贡献。
研究提出 ReactiveBFM 实时闭环规划-控制框架,通过按计划进行的前缀采样课程,让生成式规划器从并不完美的物理状态中学习误差恢复行为,以缓解级联方案中的累积暴露偏差;并引入异步重规划机制与轨迹分块,协调自回归规划与高频跟踪之间的延迟失配。该框架部署于宇树 G1 人形机器人,实现零样本移动目标到达;在严重扰动下的 sim-to-sim 基准测试中成功率达 93.1%,比级联开环基线高 28.6%。
Inside-JEPA 在 JEPA 潜状态内为有序实体对设置关系通道,并证明逆动力学损失在读取这些通道时无需关系标签即可 grounding 它们。在 Something-Something V2 上,仅潜预测与随机关系头相当;逆动力学监督在十个带标注框设置中提升关系 AUROC .065-.103,在 RH20T 机器人片段上提升 .081,在五个关系上提升 .050-.061。给定动作时预测关系变化 AUROC 为 .599,接近观测未来关系的 .621;一步关系目标下监督读出在 43% 情况下将正确动作排进 65 个动作的前五。
论文提出RL-Co框架:先在真实与仿真演示混合数据上做SFT热启动,再在仿真中用强化学习微调,并加入真实数据辅助监督损失以缓解灾难性遗忘。在四个真实桌面操作任务上,用OpenVLA和π0.5两种VLA架构测试,真实世界成功率分别提升24%和20%,优于仅真实微调与基于SFT的协同训练,对未见任务变体泛化更强、真实数据效率更高。
论文提出 DiffDreamer 可微强化学习框架,将学习到的世界模型与可微仿真器耦合:单次优化中世界模型传播捕捉外部动力学与历史特征的潜在状态,仿真器传播机器人显式物理状态;actor 目标分解为 critic 驱动的不可微任务奖励路径与仿真器驱动的可微运动奖励路径。在激进跟踪与动态穿门竞速实验中,其训练收敛优于无模型、基于模型及可微强化学习基线,最终性能也优于这些基线及经典规划控制方法,并附消融实验与概念验证性真机飞行验证。
研究提出一种将运动数据仅作为训练先验的学习框架:自监督注意力接触规划器预测未来身体-环境接触,接触条件跟踪器将规划转为协调全身运动,使接触成为感知观测与控制动作之间的接口。单一策略可兼顾数据驱动运动先验与强化学习探索,后续微调阶段可探索原始运动数据未覆盖的环境变化;部署时仅依赖机载观测、无需参考输入。
论文提出 Echo 框架,在单个 VLA 策略内同时学习任务状态信号与动作生成:用停止、失败两个信号作为每个动作块的两个维度,与机器人动作一起去噪,其组合可区分执行中、成功完成与失败。该方法无需帧级进度标注,通过构建成功、失败、恢复三类互补监督轨迹来学习信号;并让状态信号比动作更快去噪,使后续动作去噪以更干净的状态估计为条件。真实世界操作实验显示 Echo 能准确预测任务状态并持续提升策略性能。
研究提出用概率能量建模统一多用途集群控制:利用吉布斯随机场能量最小化与结构化奖励最大化的对应关系,把基本集群行为编码为统一概率目标中的可复用能量项,分散式策略经轻量级策略门控组合成单一控制器,无需重新训练。空中集群实验显示,统一策略在六类任务、10-100个智能体、两种硬件平台及室内杂乱与GPS拒止林地环境中实现零样本泛化;大规模仿真任务成功率为0.96-1.00,单智能体推理延迟1-10毫秒,物理部署验证了向真实平台与非结构化环境的零样本迁移。
论文提出三种对机器人控制进行数学抽象建模的数据生成流程,用其程序化生成的合成数据预训练 Transformer,在未接触任何真实机器人行为的情况下,于未见过的物理机器人任务上取得非平凡的零样本动作预测性能,且专用控制先验优于通用因果先验。与算力匹配的真实机器人数据基线相比,后者仅在自身训练过的数据集上占优。作者据此认为,程序化生成的数学抽象可作为昂贵具身数据采集的潜在补充。

