跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究提出用另一个编码智能体(优化器智能体)自动改进视觉界面机器人智能体的harness(提示词、工具与控制规则)。实验显示:每轮rollout数从5增至100可提升留出集成功率,小批次会过拟合;采用Champion-Challenger规则(仅在相同固定用例上胜过现任版本才采纳修订)后,LIBERO任务留出集成功率在30轮内从51%升至67%。将进化harness与预训练策略结合并用多教师在线策略蒸馏回策略,得到独立策略在RoboCasa365官方协议下达62.2%,较起点高4.8个百分点;叠加进化harness后在排行榜基准达71.2%,比最佳已发表条目高13.1个百分点。

    arXiv cs.RO研究具身智能大模型智能体

  2. 论文提出“最小数据自适应”范式:预训练机器人策略仅凭一次演示,随后通过自主在线交互学习新任务。作者指出,预训练策略在新任务上零样本失败,但单次演示可将其行为先验引导至粗略任务跟随。据此提出 MiDAS,将少演示行为克隆与基于冻结 VLA 表征的价值型残差学习结合,并强调数据平衡以防探索崩溃。在 LIBERO 与 RoboCasa 任务上,MiDAS 从单次演示初始化显著提升性能;在双臂 YAM 平台上,约六小时在线交互后任务成功率提升。

    arXiv cs.RO研究具身智能强化学习大模型

  3. arXiv 2604.24033v2 提出事件相机状态估计基准框架 EvSLAM,覆盖多种数据采集平台、极端光照场景与挑战性运动模式,并给出面向移动机器人的高速机动严格定义及新评估指标。作者指出,现有事件相机 VO/VIO 方法多局限于贴近结构的正面平行快速晃动或纯三自由度旋转假设,无法泛化到线速度与角速度均可能较大的 6-DoF 剧烈机动,且当前公开数据集存在不足。该框架对 SOTA 方法进行基准测试,用于评估事件相机方案的实际运行极限。

    arXiv cs.RO研究传感器自动驾驶数据集

  4. 论文提出无需训练的离线指标 S²(感觉运动对齐),衡量模型感知表示与物理运动几何结构的对齐程度,在多个具身模型系列中与下游机器人任务成功率正相关。S² 可在闭环评估前用于模型优先级排序,并能在 VLM 微调为 VLA 之前识别有前景的骨干网络。作者据此将柏拉图表示假说扩展到具身模型,并为 VLA 与世界动作模型中的现象提供表示层面解释。

    arXiv cs.RO研究具身智能大模型多模态

  5. 该论文提出在线可精炼语义建图框架,为每个物体点维护置信度分数,利用多视角时序证据在线更新:一致观测强化可靠点,不一致的分割掩码、深度与可见性线索抑制虚假和过时点,并结合物体跟踪与重识别在物体移动后保持实例身份。实验显示建图精度较先前方法在 Replica 上提升 3.46%、在 ScanNet 上提升 2.55%,用于物体导航和具身问答的成功率分别为 82.4% 和 76.7%。

    arXiv cs.RO研究具身智能多模态基准评测

  6. 针对现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段动态调整全局-局部视角依赖的问题,作者提出阶段感知多视角路由框架 FocusVLA:从历史动作预测未来交互意图,并据此在动作生成过程中动态路由视角。在 RoboTwin 2.0 上,其平均成功率较最强基线 π0.5 提升 10.10 个百分点;真实世界评估成功率从 71.7% 升至 85.0%,相对 π0.5 提升 13.3%。其意图预测与动态路由模块可在不修改核心架构的前提下集成进现有 VLA 框架。

    arXiv cs.RO研究具身智能大模型多模态

  7. 论文提出 WholeBodyMem,一种面向人形机器人全身 VLA 策略的物体引导感知记忆模块,用于保留机器人执行目标动作前观察到的物体事件前史。方法用 SAM3 跟踪任务物体,按事件因果地在自适应预算内选取关键帧,动作专家通过交叉注意力结合编码外观、几何与时间的物体 token 读取。作者同时发布 HuMeGo 基准,含 6 个仿真任务与 6 个真实 Unitree G1 任务。结果显示基础策略成功率在仿真中从 29.1% 升至 72.6%,真机从 36.7% 升至 88.3%,标准 SIMPLE 任务从 70.2% 升至 86.9%。

    arXiv cs.RO研究人形机器人具身智能运动控制

  8. LocoManiLab 发布统一测试平台,覆盖数据采集与生成、策略训练、评估和物理部署。任务套件包含五个家庭场景类别下的 234 个原子与组合任务,配套 51.5 小时仿真遥操作数据。评估在共享控制器下测试十二种策略跨任务/场景划分与扰动水平的表现,并比较两种策略在五种控制器下的差异;成功率在未见任务与场景上下降,且随视觉扰动增强而普遍降低。三个仿真移动操作任务与真实设置高度匹配,三种策略在仿真与真实域中的排名相似。

    arXiv cs.RO研究人形机器人具身智能强化学习

  9. 研究提出Alpha框架,在仿真中对LLM驱动机器人操作按感知(传感器延迟)、驱动(抓取滑移)、运动学(不可达目标)、规划(规划器输出损坏)四类注入校准故障。在150回合配对矩阵中,Llama-3智能体成功率44.0%(33/75),确定性脚本Oracle为64.0%(48/75),McNemar p=3.01×10^-4;剔除规划器输出损坏后两者均为55.0%(33/60),不一致对数为零(p=1.00)。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口,而非认知推理缺陷,并审计了169次历史试点。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  10. 研究提出 Cartender 方法,从真实驾驶记录中构建反事实分支:由视觉语言模型提出替代未来及对应选择指令,不受支持的指令作为负标签,无需模拟器。方法学习场景-语言兼容性分数调节轨迹生成,并用奖励训练的语言残差对候选重排序。在 WOD-E2E 上,3,603 个可行指令条件下最佳提案 RFS 为 8.642;8,974 个被接受提案平均 RFS 8.203,高于匹配记录轨迹的 7.906,67% 提案得分超过记录对应项。同场景配对指令成功率从 23.67% 升至 57.00%,RFS 从 6.32 升至 7.10,不可行指令执行率从 53.36% 降至 14.18%。

    arXiv cs.RO研究大模型多模态自动驾驶

  11. 研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。

    arXiv cs.RO研究具身智能大模型多模态

  12. arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。

    arXiv cs.RO研究具身智能仿真与数字孪生数据集

  13. 研究团队发布RoboCap,一顶重250克、搭载6个摄像头和双IMU的帽子,用于在真实环境中采集第一人称操作数据,并配套推出与设备无关的3D算法套件Grounded API。报告称,硬件、标定与3D算法协同后,其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时,均在公开基准上达到当前最优性能。

    arXiv cs.RO研究具身智能传感器数据集

  14. 该数据集在活跃建筑工地采集,覆盖十层楼、为期八个月的施工周期,共包含 30 段 360 相机与 IMU 的视觉惯性序列,场景含可变光照、移动工人、快速运动和重复结构。真值轨迹由刚性固定在 360 相机上的 LiDAR-惯性 SLAM 系统采集。配套挑战赛中 SLAM 赛道有 62 支队伍参加,楼层平面图定位赛道仅 22 支。数据集与挑战赛信息发布于 hilti-trimble-challenge.com/dataset-2026。

    arXiv cs.RO研究传感器数据集基准评测

  15. 研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型多模态

  16. 该研究提出一种仅用单目RGB相机与IMU的无人机机载状态估计方法,融合VIO、机载地标相机测量与IMU数据,并通过新的漂移模型估计和补偿VIO漂移,校正位置、姿态、线速度与角速度全部VIO状态。作者称现有方法多依赖立体相机或测距仪等更复杂硬件且使用未校正的漂移量,快速机动时误差较大。方法经1600次仿真与多次真实实验验证,并在A2RL无人机竞速挑战赛2025中从210支队伍晋级四强、获得奖牌。

    arXiv cs.RO研究传感器运动控制无人机

  17. 研究提出 AFFORD2ACT,用现成语言条件 affordance 模型定位任务相关区域,从中选取最多 15 个物体关键点加 4 个末端执行器关键点,策略输入仅 19 个二维关键点(38 个坐标),并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上,该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线,演示数量减少时性能下降更小,留出设置平均成功率 82%;把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪,仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。

    arXiv cs.RO研究具身智能运动控制多模态

  18. 研究团队构建了面向农业机器人的视觉-语言导航基准 A2A,包含 6 类农业场景、1,560 个回合,指令为逐步格式、动作为连续环境。在 A2A 上评估现有 VLN 方法发现,这些方法在短指令上表现良好、长指令上表现较差。为此作者设计 STL 模块,将复杂指令分解为简单子任务,并集成到 NavGPT 主干形成 AgriVLN,使成功率从 0.33 提升至 0.47,导航误差从 2.76 米小幅增至 2.91 米。代码已开源于 GitHub。

    arXiv cs.RO研究具身智能开源数据集

  19. 研究评估了7个可本地部署的视觉语言模型(含面向物理AI与机器人的模型)在两个以人为中心的热成像数据集上的表现,诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别,但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳,生成的事件时间线不准确,并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益;即便给出明确指令,各模型的弃答行为也不一致。

    arXiv cs.RO研究具身智能大模型多模态

  20. 研究在合成基准与 CausalWorld 机器人连杆质量外推任务上检验因果世界模型的输入选择与机制计算方式。合成基准中,由配对干预导出的冻结依赖掩码把分布外平均 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器理想掩码的 0.694。CausalWorld 中训练与测试质量范围不相交,已知 PD 控制器模型使 150 步 rollout 的中位时间平均关节 R2 从 0.609 升至 0.727,十个任务种子全部改善(双侧符号检验 p=0.002);学习力矩模型在 100 步预测中中位关节 R2 为 0.755-0.768,与最强 RWM 配置的 0.752 相当。

    arXiv cs.RO研究具身智能运动控制仿真与数字孪生