作者指出,基于CARLA的端到端驾驶主流基准Bench2Drive,其舒适度指标改编自nuPlan,存在实现错误和奖励静止的分段方案,在八个模型上与静止时长的相关系数达r=0.97;作者提出基于距离的修正指标,将该相关性降至r=0.06,并发现原指标报告的驾驶分数与舒适度强权衡在相同行驶速度下比较时不再可检测。作者还发现评测框架的两个导航信号陷阱:默认控制器可能用指向路线目标点的角度替换模型自身转向,评测时目标点可能与训练时显著不同,并在UniAD和VAD上演示了二者影响差异明显。修复将以独立代码发布,可直接从记录轨迹获得修正后的舒适度分数,无需重跑闭环仿真。
机器人行业洞察
今日精选
The robotics journal行业消息
研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。
CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。
研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。
研究团队开发了一种分层仿生机器人皮肤,在顺应性软介质中嵌入感受器模拟传感器,以复现人体皮肤组织的关键结构特征。基于该平台,他们实现了生物启发与反事实两类传感布局,并在弱接触检测、类两点辨别和纹理识别三项被动触觉任务上做定量对比。结果显示,反映生物启发传感组织关键特征的布局性能高于所考察的替代配置。该工作以物理实验方式比较了活体系统中难以检验的感受器空间组织问题。
arXiv 1804.08328v2(replace-cross)提出一种完全计算化的方法,对26种2D、2.5D、3D与语义视觉任务在潜空间中求解一阶与高阶迁移学习依赖关系,生成一张任务迁移学习的计算分类学图谱。作者利用该结构中的非平凡关系降低标注需求:求解10个任务所需的有标注数据点总数较独立训练减少约2/3,性能基本持平。论文同时提供计算与探查该结构的工具,包括供用户设计监督策略的求解器。
arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。
论文提出 CLOSER 框架,将目标物体导航中的停止决策建模为闭环证据获取:微调开源视觉语言模型,对跨帧跟踪候选的每个视角标注为目标、非目标或不确定,用基于嵌入的多样性门选择互补视角,再由轻量网络融合各视角概率;若融合后仍不确定,则用扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选,直至判断明确。该框架本地运行,可直接接入现有 ObjectNav 系统而无需重新训练。在 Gibson 和 Habitat-Matterport 3D 上,平均成功率提升 3.6 个百分点,路径长度加权成功率提升 2.0 个百分点。
该研究提出PanoGraphGS框架,在共享高斯几何上联合学习语义与实例特征,通过基于原型的语义学习和基于关联的实例学习实现跨视角一致的全景预测,并支持新视角全景分割与高斯级全景解码;语义感知场景图模块可恢复楼层-房间-背景物-物体的层级及包含与空间关系。团队同时发布真实世界全景场景理解数据集NaviGS,含3DGS、网格、RGB、语义与深度数据。在Replica和NaviGS上,其物体节点准确率平均超过最强基线50个百分点以上,2D全景分割亦为所评估方法中最优。
针对在线LiDAR-相机标定中因训练数据外参多样性不足导致的“数据集捷径”问题(网络过拟合固定标称外参、实机泛化差),研究者提出数据生成框架SynCalib:利用带深度真值的全向图像数据集,在严格外参约束下合成多模态标定数据。实验显示合成数据提升了典型学习型标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置的真实场景中验证了仅用合成数据训练模型的零样本迁移能力。数据生成代码、预训练模型与在线基准数据集将公开。
arXiv 2610.28431v1 提出 TaskWAM,一个闭环、阶段感知的世界-动作模型(WAM)框架,用 Mode Tokens 表征细粒度任务要求、用 State Tokens 跟踪执行进度,形成结构化任务状态以引导生成朝向预期未来,针对长时程操作中相似观测-动作片段导致的“阶段混淆”问题。作者同时提出 StageBench 多阶段操作基准,含参数化阶段变化与自动评估。实验称在仿真与真实任务上减少混淆并与 SOTA 方法性能相当,且可即插即用迁移到单臂、双臂夹爪、灵巧手与人形机器人等异构架构与本体。
研究团队提出 CAPSafe 基准,用于评估 LLM 具身智能体的安全推理,包含动作级与计划级两个数据集:前者判断单个动作在给定环境上下文中是否安全,后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性(由物体属性推断)、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示,危险识别与安全长时程规划之间存在显著差距:多个模型识别不安全动作的准确率超过 90%,但安全长时程规划明显更难,Gemini-3-pro 安全成功率最高为 78.19%,其余模型均低于 65%。
研究团队在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 四个模型开展指令跟随、空间推理、通用操作、鲁棒性四赛道对比评测,通过 Agent2Act 控制框架接入共享观测、动作执行与反馈接口。结果显示四模型能力画像一致:指令跟随得分高(三个接近满分)、空间推理强、通用操作得分低于其他三赛道;Astra 在指令跟随与鲁棒性领先,Opus 在空间推理、通用操作与综合表现领先。组件对比表明框架设计影响任务成功率、规划成本与执行时间,案例研究覆盖全身协调、跨形态操作、精细操作、灵巧手操作与真机任务。
论文提出 DirectWAM,通过动作充分蒸馏把预训练的扩散视频专家与动作专家转为单步预测器,保留显式的未来到动作级联,无需随机采样;训练时从预测未来解码动作并将演示动作误差经专家反向传播,可选加入未来潜在重建损失。在四个 LIBERO 套件上平均成功率 97.1%,RoboTwin 2.0 上 85.4%,相同每流一次评估预算下优于 Flash-WAM,并扩展到三个真实世界任务;相比完整迭代教师模型推理延迟降低 28.0 倍。
研究团队提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,采用受控单因素偏移、共享底层设置的干净-扰动配对 rollout 和仿真器阶段感知诊断。在四个长时程家庭操作任务、四种扰动因素与三个校准严重度下评估 GR00T N1.5,共完成 1,040 次正式 rollout。结果显示鲁棒性响应随因素和任务差异显著,严重度提升不总带来单调退化:某相机条件下 80 个配对回合中 8 个结果改变但 ΔSR=0;相机 L2 与高斯模糊 L1 的 ΔSR 同为 0.188,第一阶段失败率却分别为 19.0% 和 36.4%。代码已开源。
该研究提出 CovNav,一个无需训练的框架,用共形预测(CP)决定具身智能体何时需要慢思考:本地 LLM 在快速模式下判断目标是否可能在已观测物体附近,CP 将 token 概率转为预测集,仅对模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,HM3D v1 与 v2 成功率分别超过最强零样本基线 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并在较低延迟下保留常开思考的大部分收益;TurtleBot 4 真机实验进一步验证。
研究团队发布 JARVIS 基准,用于无语言指令条件下由视觉装配手册引导的机器人自主执行,包含 8,987 个场景、236,679 个 LEGO 装配任务,并从中精选 50 个任务组成 JARVIS-v1 交互式评测套件。评估协议覆盖几何精度、结构关系、构建顺序、部分进展与完成度。配套的 JARVIS-agentic 将机器人原语组合为可执行程序,并利用执行反馈验证与恢复,无需任务特定轨迹或参数更新。在 9 个多模态与推理模型上,面向任务的原语提升了平均装配得分,但性能随装配时程明显下降,执行错误难以纠正;先验任务经验改善初始表现,重复反思收益不稳定。
arXiv:2610.27504v1 比较了十种确定性方法与两种基于大语言模型的变体,用于异构多机器人任务分配中的机器人-任务适配性评估,方法覆盖基于规则、相似度、需求导向、模糊与语义等类型。研究使用统一的机器人与任务画像,对比各方法对候选机器人的打分、排序、可行性识别与最优机器人选择,并考察团队构成、规模、空间上下文、能力不确定性和任务表示对结果的影响。结果显示,同一场景下各方法经常给出不一致结论;通用相似度度量可能违反单侧需求满足解释下适配性应具备的性质,LLM 打分还引入随机性与语言敏感性。作者据此主张将适配性视为显式建模选择,在分配前评估其假设、鲁棒性与决策后果。

