InteractAgent：具备记忆增强反思能力的智能体式人体运动交互
研究团队提出 InteractAgent，一个面向长时程人体-场景交互的智能体式多模态大语言模型系统，用单个 MLLM 同时充当规划器与评估器，以冻结的 MotionLLM 作为执行器，在闭环中完成规划、执行、观察与反思。系统包含在线观察模块，逐步做出继续/重做/重新规划决策，以及记忆增强反思模块，支持多轮计划细化与自适应停止。在 UniHSI 基准上，与免训练基线相比，该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《InteractAgent: Agentic Human Motion Interaction with Memory-Augmented Reflection》查看原链
arXiv:2610.25649v2 公告类型：替换 摘要：长时程人体-场景交互需要协调的空间推理、物理可行性，以及从累积执行错误中恢复的能力。 文本驱动的运动模型大多与场景无关，且缺乏闭环纠正；而几何条件方法依赖成对的场景-运动训练数据或显式三维预处理，限制了其对新颖布局和开放词汇目标的泛化能力。
我们提出 InteractAgent，一个面向长时程人体-场景交互的智能体式多模态大语言模型系统，在闭环中完成规划、执行、观察与反思，使用单个 MLLM 同时作为规划器和评估器，并以冻结的 MotionLLM 作为执行器。 InteractAgent 集成了在线观察（用于逐步恢复决策：继续/重做/重新规划）和记忆增强反思（用于多轮计划细化与自适应停止）。
在 UniHSI 上，与免训练基线相比，InteractAgent 提升了任务成功率并减少了穿透。 代码：https://github.com/AIGeeksGroup/InteractAgent。