研究提出 Cartender 方法,从真实驾驶记录中构建反事实分支:由视觉语言模型提出替代未来及对应选择指令,不受支持的指令作为负标签,无需模拟器。方法学习场景-语言兼容性分数调节轨迹生成,并用奖励训练的语言残差对候选重排序。在 WOD-E2E 上,3,603 个可行指令条件下最佳提案 RFS 为 8.642;8,974 个被接受提案平均 RFS 8.203,高于匹配记录轨迹的 7.906,67% 提案得分超过记录对应项。同场景配对指令成功率从 23.67% 升至 57.00%,RFS 从 6.32 升至 7.10,不可行指令执行率从 53.36% 降至 14.18%。
机器人行业洞察
今日精选
The robotics journal行业消息
研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。
arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。
研究团队发布RoboCap,一顶重250克、搭载6个摄像头和双IMU的帽子,用于在真实环境中采集第一人称操作数据,并配套推出与设备无关的3D算法套件Grounded API。报告称,硬件、标定与3D算法协同后,其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时,均在公开基准上达到当前最优性能。
该数据集在活跃建筑工地采集,覆盖十层楼、为期八个月的施工周期,共包含 30 段 360 相机与 IMU 的视觉惯性序列,场景含可变光照、移动工人、快速运动和重复结构。真值轨迹由刚性固定在 360 相机上的 LiDAR-惯性 SLAM 系统采集。配套挑战赛中 SLAM 赛道有 62 支队伍参加,楼层平面图定位赛道仅 22 支。数据集与挑战赛信息发布于 hilti-trimble-challenge.com/dataset-2026。
研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。
该研究提出一种仅用单目RGB相机与IMU的无人机机载状态估计方法,融合VIO、机载地标相机测量与IMU数据,并通过新的漂移模型估计和补偿VIO漂移,校正位置、姿态、线速度与角速度全部VIO状态。作者称现有方法多依赖立体相机或测距仪等更复杂硬件且使用未校正的漂移量,快速机动时误差较大。方法经1600次仿真与多次真实实验验证,并在A2RL无人机竞速挑战赛2025中从210支队伍晋级四强、获得奖牌。
研究提出 AFFORD2ACT,用现成语言条件 affordance 模型定位任务相关区域,从中选取最多 15 个物体关键点加 4 个末端执行器关键点,策略输入仅 19 个二维关键点(38 个坐标),并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上,该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线,演示数量减少时性能下降更小,留出设置平均成功率 82%;把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪,仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。
研究团队构建了面向农业机器人的视觉-语言导航基准 A2A,包含 6 类农业场景、1,560 个回合,指令为逐步格式、动作为连续环境。在 A2A 上评估现有 VLN 方法发现,这些方法在短指令上表现良好、长指令上表现较差。为此作者设计 STL 模块,将复杂指令分解为简单子任务,并集成到 NavGPT 主干形成 AgriVLN,使成功率从 0.33 提升至 0.47,导航误差从 2.76 米小幅增至 2.91 米。代码已开源于 GitHub。
研究评估了7个可本地部署的视觉语言模型(含面向物理AI与机器人的模型)在两个以人为中心的热成像数据集上的表现,诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别,但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳,生成的事件时间线不准确,并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益;即便给出明确指令,各模型的弃答行为也不一致。
研究在合成基准与 CausalWorld 机器人连杆质量外推任务上检验因果世界模型的输入选择与机制计算方式。合成基准中,由配对干预导出的冻结依赖掩码把分布外平均 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器理想掩码的 0.694。CausalWorld 中训练与测试质量范围不相交,已知 PD 控制器模型使 150 步 rollout 的中位时间平均关节 R2 从 0.609 升至 0.727,十个任务种子全部改善(双侧符号检验 p=0.002);学习力矩模型在 100 步预测中中位关节 R2 为 0.755-0.768,与最强 RWM 配置的 0.752 相当。
论文提出 PAPAV 能力中心框架,将多模态具身智能体(MMEA)定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统,包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体(MMA)及机器人系统(RS),指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中,显式评估集中于“执行”,仅 5 个评估“预判”、3 个评估“验证”。
研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。
研究提出事后核方差头(post-hoc kernel-variance heads),从单个 VLA 策略的嵌入估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试,其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当;视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别,执行变异性削弱任务内排名评估,受控扰动可作为补充评估。
作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。
提出A2I-Calib++,一种面向足式机器人机体多IMU系统的运动学驱动抗噪主动标定框架,无需人工标定靶标,也无需对目标IMU做复杂参数调优,即可估计时间偏移、外参旋转平移与惯性零偏。框架含三个模块:受噪声各向同性启发的激励轨迹(由有限时域条件性命题支撑)、结合滚动接触奖励的约束感知对抗运动先验控制器、以及融合预标定小腿IMU与关节运动学的接触约束虚拟IMU。在仿真与真实四足平台上的评估显示,相比传统方法噪声敏感度与仿真标定误差明显降低,真实标定可重复,本体感知里程计精度提升。
该论文提出 PRISM 框架,将真实深度传感器的单一噪声解耦为「传感失效」与「测量不准确」两类物理模态,并蒸馏 3D 视觉基础模型特征作为空间-语义先验用于物理推理;针对失效区域稀疏与类别不平衡,采用分层正样本优先监督与动态难例挖掘。基准测试称其在噪声深度合成保真度上达到当前最优,下游真实机器人实验平均成功率为 92.1%,高于单一噪声建模基线。
研究比较了不同生成骨干下世界动作模型(WAM)的泛化性能差异,提出以“冗余正交性”量化表征先验:特征在经验分布内流形之外的视觉变化下保持正交的程度。在多种图像与视频骨干上的实验显示,表征先验的正交性越高,WAM训练后对视觉变化的鲁棒性越强,并可在训练前前瞻性预测策略泛化能力。对鲁棒WAM的分析还发现冗余抑制现象,即对视觉变化引起的特征位移的相对抑制与鲁棒动作生成同时出现。
研究团队提出 HyperDrone 四旋翼仿真器,称其批量渲染速度比现有最先进的批量四旋翼仿真器快 20 倍以上。该仿真器将优化的多旋翼动力学与自研光线追踪引擎 HyperLux 结合,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,动力学与渲染均完全在 GPU 上运行。HyperLux 可渲染 RGB、深度、语义/实例分割、表面法线与光流,并支持反射、PBR、运动模糊等效果,在消费级 GPU 上最高保真度下达到每秒数百万帧。团队在仿真中纯训练基于视觉的偏航控制策略,并迁移到搭载摄像头的 Crazyflie 小型四旋翼上完全机载运行。
arXiv 于 2026 年 10 月发布的新论文 VeriCalib 将激光雷达-相机外参标定建模为可验证估计问题,输出“标定状态”而非单一残差均方根误差。方法采用两级外参补偿机制,并用结构化协方差联合传播相机与激光雷达标靶特征的不确定性、从残差估计方差分量,进而解耦旋转与平移以给出各方向精度并引导数据采集。论文还提出视图内与跨视图一致性检查,以及扩展到外参的最小可检测偏差界。

