多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角
论文提出 PAPAV 能力中心框架，将多模态具身智能体（MMEA）定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统，包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体（MMA）及机器人系统（RS），指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中，显式评估集中于“执行”，仅 5 个评估“预判”、3 个评估“验证”。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use》查看原链
多模态智能体（MMA）通过推理、记忆、工具和反馈维持交互，最典型的表现是计算机使用智能体；而机器人系统（RS）则在物理动力学约束下耦合感知与执行。 我们将多模态具身智能体（MMEA）定义为：把多模态任务推理与物理动作耦合起来、并根据动作产生的反馈修正决策的目标导向系统。
这引出一个核心问题：当多模态智能体从计算机使用转向机器人使用时，会发生什么变化？ 我们提出 PAPAV，一个以能力为中心的统一框架，包含五个反复出现的功能：感知当前状态、预判动作效果、规划可行路径、通过接口或本体执行、验证结果。 这些能力按功能而非架构定义，使 PAPAV 能够识别三者的共性，并将 MMEA 与 MMA、RS 进行对比。
从部分可观测到结果不可验证等五项物理约束，使得可预先固定的选择更少、纠错空间更小。 在 64 个基准中，显式评估集中在“执行”环节；仅 5 个评估“预判”，3 个评估“验证”，后两者大多隐藏在任务成功率背后。 这些约束也框定了我们识别出的开放挑战。
因此，PAPAV 为设计可靠的物理智能体、并衡量全部五项能力的进展（而非仅看任务成功率）提供了共同基础。