跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出 PAPAV 能力中心框架,将多模态具身智能体(MMEA)定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统,包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体(MMA)及机器人系统(RS),指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中,显式评估集中于“执行”,仅 5 个评估“预判”、3 个评估“验证”。

    arXiv cs.RO研究具身智能大模型多模态

  2. 研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  3. 研究提出事后核方差头(post-hoc kernel-variance heads),从单个 VLA 策略的嵌入估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试,其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当;视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别,执行变异性削弱任务内排名评估,受控扰动可作为补充评估。

    arXiv cs.RO研究具身智能大模型多模态

  4. 作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。

    arXiv cs.RO研究具身智能大模型智能体

  5. 提出A2I-Calib++,一种面向足式机器人机体多IMU系统的运动学驱动抗噪主动标定框架,无需人工标定靶标,也无需对目标IMU做复杂参数调优,即可估计时间偏移、外参旋转平移与惯性零偏。框架含三个模块:受噪声各向同性启发的激励轨迹(由有限时域条件性命题支撑)、结合滚动接触奖励的约束感知对抗运动先验控制器、以及融合预标定小腿IMU与关节运动学的接触约束虚拟IMU。在仿真与真实四足平台上的评估显示,相比传统方法噪声敏感度与仿真标定误差明显降低,真实标定可重复,本体感知里程计精度提升。

    arXiv cs.RO研究四足机器人传感器运动控制

  6. 该论文提出 PRISM 框架,将真实深度传感器的单一噪声解耦为「传感失效」与「测量不准确」两类物理模态,并蒸馏 3D 视觉基础模型特征作为空间-语义先验用于物理推理;针对失效区域稀疏与类别不平衡,采用分层正样本优先监督与动态难例挖掘。基准测试称其在噪声深度合成保真度上达到当前最优,下游真实机器人实验平均成功率为 92.1%,高于单一噪声建模基线。

    arXiv cs.RO研究具身智能传感器仿真与数字孪生

  7. 研究比较了不同生成骨干下世界动作模型(WAM)的泛化性能差异,提出以“冗余正交性”量化表征先验:特征在经验分布内流形之外的视觉变化下保持正交的程度。在多种图像与视频骨干上的实验显示,表征先验的正交性越高,WAM训练后对视觉变化的鲁棒性越强,并可在训练前前瞻性预测策略泛化能力。对鲁棒WAM的分析还发现冗余抑制现象,即对视觉变化引起的特征位移的相对抑制与鲁棒动作生成同时出现。

    arXiv cs.RO研究具身智能大模型基准评测

  8. 研究团队提出 HyperDrone 四旋翼仿真器,称其批量渲染速度比现有最先进的批量四旋翼仿真器快 20 倍以上。该仿真器将优化的多旋翼动力学与自研光线追踪引擎 HyperLux 结合,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,动力学与渲染均完全在 GPU 上运行。HyperLux 可渲染 RGB、深度、语义/实例分割、表面法线与光流,并支持反射、PBR、运动模糊等效果,在消费级 GPU 上最高保真度下达到每秒数百万帧。团队在仿真中纯训练基于视觉的偏航控制策略,并迁移到搭载摄像头的 Crazyflie 小型四旋翼上完全机载运行。

    arXiv cs.RO研究强化学习仿真与数字孪生无人机

  9. arXiv 于 2026 年 10 月发布的新论文 VeriCalib 将激光雷达-相机外参标定建模为可验证估计问题,输出“标定状态”而非单一残差均方根误差。方法采用两级外参补偿机制,并用结构化协方差联合传播相机与激光雷达标靶特征的不确定性、从残差估计方差分量,进而解耦旋转与平移以给出各方向精度并引导数据采集。论文还提出视图内与跨视图一致性检查,以及扩展到外参的最小可检测偏差界。

    arXiv cs.RO研究传感器自动驾驶基准评测

  10. 作者指出,基于CARLA的端到端驾驶主流基准Bench2Drive,其舒适度指标改编自nuPlan,存在实现错误和奖励静止的分段方案,在八个模型上与静止时长的相关系数达r=0.97;作者提出基于距离的修正指标,将该相关性降至r=0.06,并发现原指标报告的驾驶分数与舒适度强权衡在相同行驶速度下比较时不再可检测。作者还发现评测框架的两个导航信号陷阱:默认控制器可能用指向路线目标点的角度替换模型自身转向,评测时目标点可能与训练时显著不同,并在UniAD和VAD上演示了二者影响差异明显。修复将以独立代码发布,可直接从记录轨迹获得修正后的舒适度分数,无需重跑闭环仿真。

    arXiv cs.RO研究仿真与数字孪生自动驾驶基准评测

  11. 研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  12. CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。

    arXiv cs.RO研究具身智能大模型多模态

  13. 研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。

    arXiv cs.RO研究具身智能大模型安全与伦理

  14. 研究团队开发了一种分层仿生机器人皮肤,在顺应性软介质中嵌入感受器模拟传感器,以复现人体皮肤组织的关键结构特征。基于该平台,他们实现了生物启发与反事实两类传感布局,并在弱接触检测、类两点辨别和纹理识别三项被动触觉任务上做定量对比。结果显示,反映生物启发传感组织关键特征的布局性能高于所考察的替代配置。该工作以物理实验方式比较了活体系统中难以检验的感受器空间组织问题。

    arXiv cs.RO研究具身智能传感器基准评测

  15. arXiv 1804.08328v2(replace-cross)提出一种完全计算化的方法,对26种2D、2.5D、3D与语义视觉任务在潜空间中求解一阶与高阶迁移学习依赖关系,生成一张任务迁移学习的计算分类学图谱。作者利用该结构中的非平凡关系降低标注需求:求解10个任务所需的有标注数据点总数较独立训练减少约2/3,性能基本持平。论文同时提供计算与探查该结构的工具,包括供用户设计监督策略的求解器。

    arXiv cs.RO研究数据集基准评测学术论文

  16. arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。

    arXiv cs.RO研究运动控制仿真与数字孪生智能体

  17. HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型智能体

  18. 论文提出 CLOSER 框架,将目标物体导航中的停止决策建模为闭环证据获取:微调开源视觉语言模型,对跨帧跟踪候选的每个视角标注为目标、非目标或不确定,用基于嵌入的多样性门选择互补视角,再由轻量网络融合各视角概率;若融合后仍不确定,则用扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选,直至判断明确。该框架本地运行,可直接接入现有 ObjectNav 系统而无需重新训练。在 Gibson 和 Habitat-Matterport 3D 上,平均成功率提升 3.6 个百分点,路径长度加权成功率提升 2.0 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  19. 该研究提出PanoGraphGS框架,在共享高斯几何上联合学习语义与实例特征,通过基于原型的语义学习和基于关联的实例学习实现跨视角一致的全景预测,并支持新视角全景分割与高斯级全景解码;语义感知场景图模块可恢复楼层-房间-背景物-物体的层级及包含与空间关系。团队同时发布真实世界全景场景理解数据集NaviGS,含3DGS、网格、RGB、语义与深度数据。在Replica和NaviGS上,其物体节点准确率平均超过最强基线50个百分点以上,2D全景分割亦为所评估方法中最优。

    arXiv cs.RO研究具身智能多模态数据集

  20. 针对在线LiDAR-相机标定中因训练数据外参多样性不足导致的“数据集捷径”问题(网络过拟合固定标称外参、实机泛化差),研究者提出数据生成框架SynCalib:利用带深度真值的全向图像数据集,在严格外参约束下合成多模态标定数据。实验显示合成数据提升了典型学习型标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置的真实场景中验证了仅用合成数据训练模型的零样本迁移能力。数据生成代码、预训练模型与在线基准数据集将公开。

    arXiv cs.RO研究传感器自动驾驶数据集