研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出OMAR流程:视觉语言模型为未知物体生成标签及内容、包装类型等属性,经分割、深度与多视图关联完成跨视图定位,构建实例级3D场景图;再由LLM在该表示上推理货架潜在组织方式,对场景一致的放置位置排序,无需用户提供偏好,排序结果用于后续几何与运动学可行性检查。实验显示,该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线,可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。
作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。
arXiv:2610.29674v1 收录一篇立场/设计研究论文,将智能体注视、接近、接触引发的接受与回避研究,与描述负面情感随时间累积、持续、压抑和表达的「情感黏度」模型相连接。作者主张回避不是交互失败,而是标示人机边界的关涉信号,并据此提出智能体按社会关系与交互历史维持、压抑或表达负面状态的设计视角。文中给出三元嫉妒、不适压抑、耐心时机、时空黏性等设计案例,并讨论干预的可追溯、有限、可争议与可修复。
研究提出SERA(自进化机器人智能体):将高层VLM组织为机器人智能体,通过可编辑执行框架维护任务上下文,并用观测与执行反馈更新上下文以指导后续规划;低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订,选定配置在留出测试前固定。在RoboMME基准上,SERA自主选择配置的总体成功率为51.38%,无自进化时为44.38%。
研究提出 PAL(Plan first, Act Later)分层记忆框架,用于视觉-语言机器人操作,包含短期视觉缓冲、语义事件记忆和可执行 subtask_list。高层 VLM 将流式视觉观测转为 subtask_list,执行时选取当前相关子任务交给底层 VLA 策略;配套两阶段数据生成,先扩展稀疏更新监督,再用任务落地验证的自标注生成训练数据。在 RoboMME 上成功率达 56.05%,超过最强基线 FrameSamp-Modul 的 44.51%;四项真实操作任务总体成功率 60.83%,高于 MemER 的 45.00% 和 FrameSamp-Modul 的 28.33%。
研究提出 SLoSa 神经-符号压缩与微调框架,用经典规划器、教师 LLM 和形式化验证器构建安全感知数据集,再经监督微调与验证奖励机引导的强化学习训练小型机器人任务规划器。在四个 PDDL 领域上,4B-14B 模型成功率提升至 70.5-76.0%;INT4 部署于 Jetson Orin 平均功耗 17.85-26.41 W。家庭仿真环境与桌面机械臂实验验证了适用性。
arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。
研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。
该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。
SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。
研究团队提出 CAPSafe 基准,用于评估 LLM 具身智能体的安全推理,包含动作级与计划级两个数据集:前者判断单个动作在给定环境上下文中是否安全,后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性(由物体属性推断)、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示,危险识别与安全长时程规划之间存在显著差距:多个模型识别不安全动作的准确率超过 90%,但安全长时程规划明显更难,Gemini-3-pro 安全成功率最高为 78.19%,其余模型均低于 65%。
arXiv 2610.28011v1 提交了一篇研究,考察期望自由能(EFE)能否作为测试时计算控制器,决定在世界模型规划中投入多少计算。作者把目标距离与随机预测间的分歧合成一个 EFE 式目标,分别测试候选评分、停止规则和在线预测器更新。结果显示:当精英成本停滞即停止,在成功率随深度趋于平台的任务上会减少细化,平均成功率接近固定深度参考;较大权重下奖励分歧会降低冻结模型的成功率,惩罚分歧则因任务和权重而异。训练数据缺少到达目标所需区域时,在线更新可恢复部分损失;成本停滞规则在后续优化利用模型错误时会失效,因为任务成功率见顶后预测成本仍下降。
EventSync 提出一种事件驱动的分层框架:视觉语言模型依据任务计划与交互历史生成子目标,视觉语言-动作模型执行,轻量级事件监视器结合视觉观测与末端执行器轨迹判定子目标是否完成,仅在获得完成证据后才写入已完成子目标历史并触发后续推理。该方法在 RoboMME 基准上总体成功率为 64.5%,比该基准报告的最佳基线高 20.0 个百分点;并在四个记忆需求不同的真实机器人任务上完成验证。
研究提出以智能体为中心、物理感知的框架,从NGSIM US-101、highD、exiD多源轨迹数据中发现跟驰法则,得到自适应均衡响应模型(AERM),将状态依赖的相对速度响应与间距依赖的均衡速度恢复相耦合。AERM具有解析的均衡速度-间距与流量-密度关系,并推导了零延迟形式的稳定性条件。在上海自然驾驶数据、NGSIM I-80和Waymo轨迹上对比七个经典跟驰模型,AERM在轨迹特定校准下间距RMSE分别降低9.11%、7.59%和21.73%,在数据集级共享参数下仍具竞争力。
该研究提出 CovNav,一个无需训练的框架,用共形预测(CP)决定具身智能体何时需要慢思考:本地 LLM 在快速模式下判断目标是否可能在已观测物体附近,CP 将 token 概率转为预测集,仅对模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,HM3D v1 与 v2 成功率分别超过最强零样本基线 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并在较低延迟下保留常开思考的大部分收益;TurtleBot 4 真机实验进一步验证。
研究团队发布 JARVIS 基准,用于无语言指令条件下由视觉装配手册引导的机器人自主执行,包含 8,987 个场景、236,679 个 LEGO 装配任务,并从中精选 50 个任务组成 JARVIS-v1 交互式评测套件。评估协议覆盖几何精度、结构关系、构建顺序、部分进展与完成度。配套的 JARVIS-agentic 将机器人原语组合为可执行程序,并利用执行反馈验证与恢复,无需任务特定轨迹或参数更新。在 9 个多模态与推理模型上,面向任务的原语提升了平均装配得分,但性能随装配时程明显下降,执行错误难以纠正;先验任务经验改善初始表现,重复反思收益不稳定。
arXiv:2610.27504v1 比较了十种确定性方法与两种基于大语言模型的变体,用于异构多机器人任务分配中的机器人-任务适配性评估,方法覆盖基于规则、相似度、需求导向、模糊与语义等类型。研究使用统一的机器人与任务画像,对比各方法对候选机器人的打分、排序、可行性识别与最优机器人选择,并考察团队构成、规模、空间上下文、能力不确定性和任务表示对结果的影响。结果显示,同一场景下各方法经常给出不一致结论;通用相似度度量可能违反单侧需求满足解释下适配性应具备的性质,LLM 打分还引入随机性与语言敏感性。作者据此主张将适配性视为显式建模选择,在分配前评估其假设、鲁棒性与决策后果。

