CAPSafe：具身智能体上下文动作与计划安全推理基准
研究团队提出 CAPSafe 基准，用于评估 LLM 具身智能体的安全推理，包含动作级与计划级两个数据集：前者判断单个动作在给定环境上下文中是否安全，后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性（由物体属性推断）、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示，危险识别与安全长时程规划之间存在显著差距：多个模型识别不安全动作的准确率超过 90%，但安全长时程规划明显更难，Gemini-3-pro 安全成功率最高为 78.19%，其余模型均低于 65%。
发布于 10-22 10:55来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《CAPSafe: A Benchmark for Contextual Action and Plan Safety Reasoning in Embodied Agents》查看原链
基于大语言模型（LLM）的具身智能体必须能够进行安全推理。 我们提出上下文动作与计划安全基准（CAPSafe），用于在两个层面评估安全推理：（1）动作级数据集，测试单个动作在给定环境上下文中是否安全；（2）计划级数据集，评估智能体能否为复杂危险的家务任务生成安全的长时程计划。
CAPSafe 对危险具有情境性（由物体属性推断）、同一环境中多种危险可能共存的安全条件进行建模，并为每种危险标注相对严重程度，以支持细粒度分析。 对九个闭源与开源 LLM 的评估显示，危险识别与安全长时程规划之间存在显著差距。 多个模型在识别不安全动作上达到高准确率（最佳情况超过 90%），但安全长时程规划仍明显更难。
Gemini-3-pro 取得最高的安全成功率（78.19%），其他模型均低于 65%。 这些结果表明，长动作序列上的稳健安全推理仍是未解难题。