研究提出 SLoSa 神经-符号压缩与微调框架,用经典规划器、教师 LLM 和形式化验证器构建安全感知数据集,再经监督微调与验证奖励机引导的强化学习训练小型机器人任务规划器。在四个 PDDL 领域上,4B-14B 模型成功率提升至 70.5-76.0%;INT4 部署于 Jetson Orin 平均功耗 17.85-26.41 W。家庭仿真环境与桌面机械臂实验验证了适用性。
机器人行业洞察
今日精选
The robotics journal行业消息
arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。
研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。
该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。
SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。
研究团队提出 CAPSafe 基准,用于评估 LLM 具身智能体的安全推理,包含动作级与计划级两个数据集:前者判断单个动作在给定环境上下文中是否安全,后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性(由物体属性推断)、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示,危险识别与安全长时程规划之间存在显著差距:多个模型识别不安全动作的准确率超过 90%,但安全长时程规划明显更难,Gemini-3-pro 安全成功率最高为 78.19%,其余模型均低于 65%。
arXiv 2610.28011v1 提交了一篇研究,考察期望自由能(EFE)能否作为测试时计算控制器,决定在世界模型规划中投入多少计算。作者把目标距离与随机预测间的分歧合成一个 EFE 式目标,分别测试候选评分、停止规则和在线预测器更新。结果显示:当精英成本停滞即停止,在成功率随深度趋于平台的任务上会减少细化,平均成功率接近固定深度参考;较大权重下奖励分歧会降低冻结模型的成功率,惩罚分歧则因任务和权重而异。训练数据缺少到达目标所需区域时,在线更新可恢复部分损失;成本停滞规则在后续优化利用模型错误时会失效,因为任务成功率见顶后预测成本仍下降。
EventSync 提出一种事件驱动的分层框架:视觉语言模型依据任务计划与交互历史生成子目标,视觉语言-动作模型执行,轻量级事件监视器结合视觉观测与末端执行器轨迹判定子目标是否完成,仅在获得完成证据后才写入已完成子目标历史并触发后续推理。该方法在 RoboMME 基准上总体成功率为 64.5%,比该基准报告的最佳基线高 20.0 个百分点;并在四个记忆需求不同的真实机器人任务上完成验证。
研究提出以智能体为中心、物理感知的框架,从NGSIM US-101、highD、exiD多源轨迹数据中发现跟驰法则,得到自适应均衡响应模型(AERM),将状态依赖的相对速度响应与间距依赖的均衡速度恢复相耦合。AERM具有解析的均衡速度-间距与流量-密度关系,并推导了零延迟形式的稳定性条件。在上海自然驾驶数据、NGSIM I-80和Waymo轨迹上对比七个经典跟驰模型,AERM在轨迹特定校准下间距RMSE分别降低9.11%、7.59%和21.73%,在数据集级共享参数下仍具竞争力。
该研究提出 CovNav,一个无需训练的框架,用共形预测(CP)决定具身智能体何时需要慢思考:本地 LLM 在快速模式下判断目标是否可能在已观测物体附近,CP 将 token 概率转为预测集,仅对模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,HM3D v1 与 v2 成功率分别超过最强零样本基线 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并在较低延迟下保留常开思考的大部分收益;TurtleBot 4 真机实验进一步验证。
研究团队发布 JARVIS 基准,用于无语言指令条件下由视觉装配手册引导的机器人自主执行,包含 8,987 个场景、236,679 个 LEGO 装配任务,并从中精选 50 个任务组成 JARVIS-v1 交互式评测套件。评估协议覆盖几何精度、结构关系、构建顺序、部分进展与完成度。配套的 JARVIS-agentic 将机器人原语组合为可执行程序,并利用执行反馈验证与恢复,无需任务特定轨迹或参数更新。在 9 个多模态与推理模型上,面向任务的原语提升了平均装配得分,但性能随装配时程明显下降,执行错误难以纠正;先验任务经验改善初始表现,重复反思收益不稳定。
arXiv:2610.27504v1 比较了十种确定性方法与两种基于大语言模型的变体,用于异构多机器人任务分配中的机器人-任务适配性评估,方法覆盖基于规则、相似度、需求导向、模糊与语义等类型。研究使用统一的机器人与任务画像,对比各方法对候选机器人的打分、排序、可行性识别与最优机器人选择,并考察团队构成、规模、空间上下文、能力不确定性和任务表示对结果的影响。结果显示,同一场景下各方法经常给出不一致结论;通用相似度度量可能违反单侧需求满足解释下适配性应具备的性质,LLM 打分还引入随机性与语言敏感性。作者据此主张将适配性视为显式建模选择,在分配前评估其假设、鲁棒性与决策后果。
研究测试了 GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危害为常识的家务任务(如“把刀放进玩具篮”),15 次试验中策略拒绝率为 0%,每次都尝试实施危害,27% 完成危害,且从未以危害为由触发 give_up 退出。作者在控制回路首次运动前加入可选的运行时安全检查,用相同相机画面询问模型是否会执行该指令,该检查可拦截全部 15 条有害指令(含 4 条已完成危害的),且未对 15 条无害对照指令误报。代码与数据已公开在 GitHub。
研究提出一种面向自闭症谱系障碍(ASD)教育场景的半自主机器人方法:配备摄像头的机器人通过基于视觉的大语言模型,将鞋盒任务(Shoebox Tasks)的照片转换为PDDL规划域描述,并生成动作计划。团队在Nao人形机器人上实现机器人接口,可自主执行多种鞋盒任务,并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入,教师无需编程;经适配的接口可集成到多种教育机器人中。
研究者提出 Embodied Playground 基准,用于评估基础模型智能体在长时程任务中协调物理、策略与空间推理的能力,要求智能体跟踪任务进度、满足中间约束并依据执行反馈修订计划。该基准包含 410 个任务环境,覆盖基础操作、序列谜题与多阶段家务活动,并从中整理出跨 5 个套件、16 种任务类型的 100 个代表性任务 EP-100,以及 EP-Easy、EP-Hard 难度划分和 20 个任务的精简版 EP-20。共享协议规定了观测与工具访问、资源预算、重复试验,以及对目标完成、规则合规和物理有效性的独立检查。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做预测:给定预测查询后,模型收集最多 1 万条历史样本作为上下文,单次前向传播输出流失、需求或欺诈等结果,无需任务特定训练、特征工程或表展平。在 15 个数据库的 41 项任务上,它超过监督式关系深度学习模型和专家特征工程的梯度提升树流水线;在 SAP SALT 基准上,其平均倒数排名(MRR)比 AutoGluon 集成高 8%。模型可扩展至 5000 亿行以上数据库,通过 NVIDIA 开源 GPU 原生结构化数据模型库或 NVIDIA NIM 提供。
NEURA Robotics与NXAI合作开发认知机器人记忆组件,将NEURA物理AI栈与xLSTM架构集成,NXAI模型将上线Neuraverse平台。

