TARSphere：面向机器人的全栈框架，用于在动态物理与社会环境中运行长时程具身智能体
研究提出 TARSphere 全栈框架，在物理模拟器中运行机器人策略，并引入具身 NPC 与受限对话，通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合，设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型，任务更新与人机交互仍困难，频繁碰撞与跌倒表明需同时评估执行安全。
发布于 10-22 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments》查看原链
机器人必须在物理与社会约束下行动，同时适应环境与人类需求的变化。 现有具身智能体系统往往聚焦于指定目标，或将执行抽象为符号动作，限制了对动态变化世界的评估。 我们提出 TARSphere，一个面向机器人的全栈框架，用于构建在物理与社会层面有依据的长时程具身智能体。
TARSphere-Infra 在物理模拟器中运行机器人策略，其中包含具身 NPC 与受限对话。 事件驱动的有限状态机（FSM）利用已完成动作与已传递信息更新任务状态并评估结果。 TARSphere-Harness 是其具身大脑运行框架，让冻结的多模态大语言模型（MLLM）通过多级可执行技能行动，利用观测、分层记忆与执行反馈修正决策。
在此基础上，智能体在环的数据整理对齐任务语义、因果依赖与场景几何，构建出 TARSphere-Bench：覆盖 30 个室内场景的 360 个回合。 五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解，任务类型为导航并报告与取送交付。
对 8 个 MLLM 的评估显示，通用模型可优于具身模型，而任务更新与人机交互仍然困难。 频繁碰撞与跌倒进一步说明，即便共享动作接口与决策预算，也需在任务成功率之外评估执行安全性。