跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出免训练 VLA 推理加速方法 TRIAGE:通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝,漂移低于按主干校准的阈值且缓存不过旧时复用,否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点,Jetson AGX Orin 上预填充延迟最多降低 48%;仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  2. 研究团队提出 HuGe 系列人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一人称人类与机器人数据上预训练,采用三种现有代表性 VLA 架构,为预训练全身控制器预测潜在运动 token 并输出手部控制信号。训练分三阶段:第一人称预训练、人形适配、下游微调;预训练时通过仿真回放构建伪本体感知状态,微调时通过重渲染修改第一人称观测中的手臂外观以缓解形态差异。HuGe 在仿真基准 HumanoidArena 上取得最先进结果;在 Unitree G1 上的真实实验显示,用视觉适配的第一人称示范增强机器人示范可显著提升抓取放置任务成功率。

    arXiv cs.RO研究人形机器人具身智能大模型

  3. X-World 框架通过固定长度 token 序列将视频扩散模型先验迁移至共享动作专家,用残差跨视角注意力分支把预训练视频骨干扩展至一至三视角并保留原自注意力路径,层对齐 Q-Former 聚合骨干特征,数据集特定模块映射原生状态/动作接口。训练分两阶段:先冻结视频骨干做仅动作预训练,再联合目标域后训练;执行时单次骨干前向提取特征并采用异步动作分块。LIBERO 上平均成功率 98.5%,其检查点在 LIBERO-Plus 上零适配达 76.5%;六个双臂真实任务每任务 20 次试验平均成功率 81.7%。消融显示移除视频适配或跨视角融合的降幅最大。

    arXiv cs.RO研究具身智能运动控制大模型

  4. 研究团队发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询,以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%,但在固定训练布局内目标变化时降至 16.1%;VLM 适配与机器人数据预训练提升有限,oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。

    arXiv cs.RO研究具身智能大模型多模态

  5. 研究提出 Scan2Instruction 与 PRPT-KS 两项设计:前者将一次 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合,替代现场遥操作采集人类演示;后者通过从重建场景直接读取的闭式帕累托效用完成策略自适应,无需学习评论家与人工标注。在五个真实环境中,二者结合使 RealNav 真实机器人成功率达 85%,基于人类演示后训练的基线为 49%;在同一建筑未扫描区域成功率为 82%,基线为 41%。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  6. 论文提出Open-World Law-to-Action(L2A)框架:视觉-语言模型为每个可动部件提议运动方式、运动规律参数及可能的锁定因素,形成带下限的先验,触觉可随时推翻。机器人用带闭式证据的贝叶斯线性回归在线识别部件运动规律,并保留“未见部件或运动锁定目标”的假设;作者证明仅靠触觉无法排除该假设,并推导出何时值得再次观察。全部实验在仿真中进行,新厨房场景下基于VLM提议的任务完成率为80%,部件全部已知时为98%;所提物理先验使需要新参数的物体成功率从353/400提升至378-383/400,二次观察使混合场景成功率从284/366提升至329/366。

    arXiv cs.RO研究具身智能传感器大模型

  7. 论文提出EXE,一种自我中心跨具身(Egocentric Cross-Embodiment)预训练框架,从人类第一视角操作视频中学习因子化潜在动作表示,将共享的操作先验与具身特定信号分离。作者认为人手与机器人共享伸手、抓取、放置等操作基元,但运动学因具身不同而存在差异,因此需解耦人类特有运动模式以避免干扰机器人策略学习。该方法使同一预训练可同时受益于平行夹爪与灵巧手,在RoboTwin 2.0、RoboCasa GR1及真实世界操作任务上相对无预训练基线取得一致提升。

    arXiv cs.RO研究具身智能灵巧手大模型

  8. 研究团队在 Habitat 3.0 中构建 TouchSafeBench 基准,包含 2,940 个模拟室内共处片段,覆盖社交导航与社交重排,配有同步多视角 RGB-D、俯视轨迹图、标定相机元数据及仿真器接触标签,用于评估视觉语言模型的碰撞接地能力。测试三个前沿或机器人学导向 VLM 与九种视觉表示,最佳平均 Macro-F1 低于 50%,显式深度未自动转化为机器人本体碰撞证据,机器人与场景接触的判断持续难于与人接触风险。

    arXiv cs.RO研究具身智能多模态安全与伦理

  9. 该论文提出 PartialBiGrasp 双臂抓取生成框架,直接以部分点云观测为输入,不依赖完整点云。模型通过卷积占用网络隐式学习几何特征,对可抓取性、无碰撞接触区域和物体厚度进行局部推理,生成满足力闭合约束的抓取对,再用基于采样的优化修正不完整几何带来的歧义。验证包括解析力闭合指标、大规模仿真实验,以及在含噪声部分点云的新物体上开展的真实机器人实验。

    arXiv cs.RO研究具身智能运动控制仿真与数字孪生

  10. 研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题,提出将动作表征锚定到语义流形,并分解为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证,真实世界分布内任务最高提升18.7%,分布外泛化最高提升21.5%。

    arXiv cs.RO研究具身智能强化学习大模型

  11. 论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。

    arXiv cs.RO研究具身智能强化学习大模型

  12. 该研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合:放置模块从外部视觉识别任务特定解剖起点并确立初始探头位姿为参考系,基于流的策略依据锚点相对位姿、超声图像、探头相机视图与接触力生成扫查动作,终止头预测任务完成。手持采集平台可在无机器人条件下采集自由手扫查的多模态演示。在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集与桡动脉扫查成功率分别为96%、94%、88%、94%;相比微调pi_0模型,腹部任务成功率提升10-42个百分点,目标到达时间、峰值接触力与轨迹抖动更低。自动放置端到端试验成功率90-100%,策略无需重训迁移至第二台机器人成功率83-100%。

    arXiv cs.RO研究具身智能传感器强化学习

  13. DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  14. MAST-VLA提出一种双条件机器人操作框架:在LLM主干中引入技能条件化的LoRA混合专家适配器,用技能查询token与路由偏置引导低秩专家特化;同时把预测的可供性热图转为动作头的patch级轨迹-可供性空间先验。在CALVIN ABC→D长时程多技能跨场景泛化设置上,五子任务评估序列平均长度达4.65,作者称达到最先进水平;真实机器人多技能序列实验验证了其在真实感知与控制噪声下的可部署性。

    arXiv cs.RO研究具身智能强化学习大模型

  15. 研究团队发现 OpenVLA 激活的稀疏自编码器(SAE)表征含有可预测任务结果的信息,能在机器人进入不可恢复状态前预测失败。他们识别出强激活与成功或失败特定阶段对应的单个 SAE 特征,并通过定位特征激活显著变化的时间区间归纳出反复出现的行为模式。团队还构建基于 VLM 的解释流程为这些模式生成行为描述,并在留出区间上验证描述与特征激活的对应关系。

    arXiv cs.RO研究具身智能大模型多模态

  16. 研究将测试时训练(TTT)集成到InternVLA-A1与Pi0.5中,通过配对的人类演示与机器人轨迹训练,研究以演示为条件的动作生成,并实现两阶段间的记忆迁移与截断反向传播。实验覆盖视频、短视频与单帧线索任务,考察训练目标、梯度覆盖与对比正则化。在当前规模下,加入TTT并用配对数据训练,未能带来基于演示的一致目标选择;更短序列、全轨迹梯度连通与对比正则化也未明显提升对演示的响应;演示缩减为单帧线索时,真机执行仍偏好固定位置的杯子。

    arXiv cs.RO研究具身智能大模型多模态

  17. 该论文指出流匹配VLA部署中数值求解器深度与执行时域通常被解耦选择,并揭示二者存在由符号反转支配的计算-执行耦合:快速重规划下粗糙积分降低精度,但延长开环执行时粗糙积分反而提升任务表现,其机制是数值截断使横向动作离散度围绕不变的轨迹质心收缩,起到抑制开环漂移累积的隐式正则化作用。在LIBERO、RoboTwin 2.0及真实Franka操作任务上,针对π0、π0.5、GR00T等VLA骨干模型,利用该耦合可在无需训练、不改架构的前提下提升任务成功率并大幅降低推理延迟。

    arXiv cs.RO研究具身智能运动控制大模型

  18. EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与第一人称视频训练策略,以降低含噪动作标签的影响。方法包含可靠性条件化损坏、可靠性加权回归,以及用指数移动平均教师从干净未来场景变化中蒸馏特权未来表征。在 30,000 小时预训练数据下,其扩展斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点;后训练后在仿真与真实灵巧操作中均表现较强。

    arXiv cs.RO研究具身智能强化学习大模型

  19. 研究提出导航基础模型 RepresentNav,用三层 transformer(Representation Residuals)对多个视觉基础模型全深度特征做注意力,构建由策略目标驱动的自建表征空间,并在动作前用潜在思维链预测下一时刻场景表征,以 JEPA 架构端到端训练。在 VLNVerse 细粒度任务上成功率达 83.80%,较此前最优高 20.05 个百分点;EVT-Bench 干扰物跟踪单相机达 85.5%(+10.1);相同编码器下自建空间优于拼接输出,想象使碰撞减少四分之一。单个潜在表征可解码未来场景的深度、语义与三维占据,占据无监督仍优于预训练编码器作用于真实未来帧。

    arXiv cs.RO研究具身智能大模型多模态

  20. 研究提出 P³-WAM 统一世界动作模型,面向第一视角灵巧操作,包含 Perceive(从视频重建关节手部运动与相机轨迹)、Predict(按给定动作生成视觉未来)、Plan(以初始图像、语言指令和可选视觉目标为条件,联合生成动作轨迹与预期视觉后果)三种模式。模型采用混合 Transformer 架构,将结构化三维动作表示接入预训练视频扩散 Transformer,共享基础权重并设模态特定适配与双向视觉-动作注意力,随机化模态可见性使视频与三维动作可作条件或预测目标。实验称统一训练在四项数据集的三维手部重建与动作条件视频预测上优于专用基线,生成的操作视频在指令遵循与动作推进上强于视频生成基线。

    arXiv cs.RO研究具身智能灵巧手大模型