论文提出 CLOSER 框架,将目标物体导航中的停止决策建模为闭环证据获取:微调开源视觉语言模型,对跨帧跟踪候选的每个视角标注为目标、非目标或不确定,用基于嵌入的多样性门选择互补视角,再由轻量网络融合各视角概率;若融合后仍不确定,则用扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选,直至判断明确。该框架本地运行,可直接接入现有 ObjectNav 系统而无需重新训练。在 Gibson 和 Habitat-Matterport 3D 上,平均成功率提升 3.6 个百分点,路径长度加权成功率提升 2.0 个百分点。
机器人行业洞察
今日精选
The robotics journal行业消息
arXiv 发布编号 2610.27045v1 的交叉领域专著,试图为物理AI给出统一定义:在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并将其与数字AI、具身AI、信息物理系统、数字孪生区分。专著梳理多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制、多智能体协同、软硬件协同设计等方法,覆盖机器人、制造、基础设施、科学实验与自主服务应用,重点讨论sim-to-real迁移、可靠性、实时执行、评估、安全与治理,并提出从狭窄自动化走向Physical AGI的研究方向。
论文提出P3L(Preference-PCA Pluralistic Learning)框架,通过PCA分解从匿名众包反馈中联合学习轨迹嵌入与偏好方向的共享基,无需标注者身份即可完成多元对齐。测试阶段可快速进行个性化奖励学习与下游策略优化。在多个具身控制任务上,P3L实现可引导的个性化对齐,能泛化到离线数据集之外的分布外新用户,RL与测试性能具竞争力,同时显著降低计算成本并支持可变的适应查询预算。
该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。
arXiv 2610.28431v1 提出 TaskWAM,一个闭环、阶段感知的世界-动作模型(WAM)框架,用 Mode Tokens 表征细粒度任务要求、用 State Tokens 跟踪执行进度,形成结构化任务状态以引导生成朝向预期未来,针对长时程操作中相似观测-动作片段导致的“阶段混淆”问题。作者同时提出 StageBench 多阶段操作基准,含参数化阶段变化与自动评估。实验称在仿真与真实任务上减少混淆并与 SOTA 方法性能相当,且可即插即用迁移到单臂、双臂夹爪、灵巧手与人形机器人等异构架构与本体。
论文提出 GPT-as-Tactile-Policy 方法:将专家演示总结为任务指导与触觉参考,GPT-6-Astra 结合多模态观测与交互历史生成控制指令,并依据接触反馈调整动作。在无需机器人专用预训练和逐任务微调的情况下,该方法在五个 UniVTAC 接触密集型操作任务上平均成功率为 93.8%,与现有最优策略相当,部分任务更高;Insert Hole 任务中触觉反馈将成功率从 31% 提升至 99%。执行分析显示模型能进行接触引导的试探与纠正。
研究团队提出 CAPSafe 基准,用于评估 LLM 具身智能体的安全推理,包含动作级与计划级两个数据集:前者判断单个动作在给定环境上下文中是否安全,后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性(由物体属性推断)、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示,危险识别与安全长时程规划之间存在显著差距:多个模型识别不安全动作的准确率超过 90%,但安全长时程规划明显更难,Gemini-3-pro 安全成功率最高为 78.19%,其余模型均低于 65%。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征:预训练阶段用冻结的3D基础模型提供稠密几何特征,将其压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何过渡施加动作监督,提取强调动作相关过渡的互补运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征则沿动作生成路径引导中间特征,未来观测仅在训练时作为特权监督、推理时不需要。在LIBERO、LIBERO-Plus、SimplerEnv及真实双臂与单臂任务上,该方法一致提升下游策略,在WidowX评测上绝对提升10.4个百分点,并在多种VLA架构与WAM上验证了迁移效果,代码将发布于GitHub。
研究团队在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 四个模型开展指令跟随、空间推理、通用操作、鲁棒性四赛道对比评测,通过 Agent2Act 控制框架接入共享观测、动作执行与反馈接口。结果显示四模型能力画像一致:指令跟随得分高(三个接近满分)、空间推理强、通用操作得分低于其他三赛道;Astra 在指令跟随与鲁棒性领先,Opus 在空间推理、通用操作与综合表现领先。组件对比表明框架设计影响任务成功率、规划成本与执行时间,案例研究覆盖全身协调、跨形态操作、精细操作、灵巧手操作与真机任务。
论文提出 DirectWAM,通过动作充分蒸馏把预训练的扩散视频专家与动作专家转为单步预测器,保留显式的未来到动作级联,无需随机采样;训练时从预测未来解码动作并将演示动作误差经专家反向传播,可选加入未来潜在重建损失。在四个 LIBERO 套件上平均成功率 97.1%,RoboTwin 2.0 上 85.4%,相同每流一次评估预算下优于 Flash-WAM,并扩展到三个真实世界任务;相比完整迭代教师模型推理延迟降低 28.0 倍。
研究团队提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,采用受控单因素偏移、共享底层设置的干净-扰动配对 rollout 和仿真器阶段感知诊断。在四个长时程家庭操作任务、四种扰动因素与三个校准严重度下评估 GR00T N1.5,共完成 1,040 次正式 rollout。结果显示鲁棒性响应随因素和任务差异显著,严重度提升不总带来单调退化:某相机条件下 80 个配对回合中 8 个结果改变但 ΔSR=0;相机 L2 与高斯模糊 L1 的 ΔSR 同为 0.188,第一阶段失败率却分别为 19.0% 和 36.4%。代码已开源。
PACT-VLA 是一个无需训练的框架,用于解决 VLA 策略异步推理中动作块基于过时观测的问题:它从推理起始观测生成多个候选动作块,并利用提交前观测复用冻结的 VLA 策略进行选择,评分函数 FlowRes 衡量候选隐含流方向与策略预测速度的残差,无需额外验证器。流水线实现使选择不增加控制步延迟。在四步延迟下,Kinetix 上平均成功率比 RTC 高 15.0 个百分点,LIBERO 上比 GR00T N1.7 单候选异步执行高 5.2 个百分点;三个真实机器人任务上,使用同一冻结 π0.5 检查点,平均成功率从朴素异步执行的 60% 提升到 82%。
EventSync 提出一种事件驱动的分层框架:视觉语言模型依据任务计划与交互历史生成子目标,视觉语言-动作模型执行,轻量级事件监视器结合视觉观测与末端执行器轨迹判定子目标是否完成,仅在获得完成证据后才写入已完成子目标历史并触发后续推理。该方法在 RoboMME 基准上总体成功率为 64.5%,比该基准报告的最佳基线高 20.0 个百分点;并在四个记忆需求不同的真实机器人任务上完成验证。
该研究提出一种多视角潜在动作模型(LAM),用交叉注意力融合同步多相机视角,先解析深度与遮挡,再压缩为潜在动作;潜在动作输入由冻结VLM主干、潜在专家与动作专家经序列流匹配耦合的策略。在严格跨具身设定下,双视角LAM预训练使真值6D动作可解码性较单视角提升17%,而单视角数据扩大两个数量级仍不足以完全恢复平面外运动;下游策略成功率提升+13.5%,单视角LAM为+6.2%。单一跨具身数据即可实现技能迁移,增加第二个视角优于再增加最多四个具身;在硬件上以人类手部演示迁移,850次rollout中成功率较仅动作策略提升+20%。
该研究提出 CovNav,一个无需训练的框架,用共形预测(CP)决定具身智能体何时需要慢思考:本地 LLM 在快速模式下判断目标是否可能在已观测物体附近,CP 将 token 概率转为预测集,仅对模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,HM3D v1 与 v2 成功率分别超过最强零样本基线 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并在较低延迟下保留常开思考的大部分收益;TurtleBot 4 真机实验进一步验证。
PLaCA 提出一种世界到动作框架,从当前多模态输入直接预测具有空间结构的 patch 级未来潜在变化,并引入 patch 级变化感知监督与未来到动作接口,将预测变化显式纳入动作生成。在 LIBERO-Long 上成功率达 79.0%,较仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度由 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。
研究在SHREC真实人机社会交互基准上评估Gemini Robotics-ER,并与已发表的通用VLM基线对比:Robotics-ER在错误/能力检测上优于GPT-4o-mini,但在细粒度社会属性判断上更差;增加一帧视觉输入对一个任务有帮助、对另一个任务有损害。作者指出比较跨越不同模型家族,差异不能单独归因于具身专用化,并提示多机器人系统共享基础模型可能使系统性社会感知错误影响多个协调决策。该工作为初步评估,跨情境与视频分析留待后续。
研究测试了 GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危害为常识的家务任务(如“把刀放进玩具篮”),15 次试验中策略拒绝率为 0%,每次都尝试实施危害,27% 完成危害,且从未以危害为由触发 give_up 退出。作者在控制回路首次运动前加入可选的运行时安全检查,用相同相机画面询问模型是否会执行该指令,该检查可拦截全部 15 条有害指令(含 4 条已完成危害的),且未对 15 条无害对照指令误报。代码与数据已公开在 GitHub。
研究提出“失败归因”问题:判断 VLA 模型中哪些视觉损坏对当前回合的失败风险有贡献、移除后能带来多大收益。方法为因子化风险模型,分别学习场景与损坏表示,通过潜在干预从当前图像和任务指令估计移除收益,无需成对干净图像或额外反事实 rollout。在仿真中对 OpenVLA 和 π0.5、在 Franka 机器人上对 π0.5-DROID 评估,归因误差约为前沿 VLM 的 1/3,并可用于硬件在线失败监测。
研究提出一种面向自闭症谱系障碍(ASD)教育场景的半自主机器人方法:配备摄像头的机器人通过基于视觉的大语言模型,将鞋盒任务(Shoebox Tasks)的照片转换为PDDL规划域描述,并生成动作计划。团队在Nao人形机器人上实现机器人接口,可自主执行多种鞋盒任务,并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入,教师无需编程;经适配的接口可集成到多种教育机器人中。

