Alpha：面向LLM驱动具身操作的系统性故障注入与鲁棒性评估
研究提出Alpha框架，在仿真中对LLM驱动机器人操作按感知（传感器延迟）、驱动（抓取滑移）、运动学（不可达目标）、规划（规划器输出损坏）四类注入校准故障。在150回合配对矩阵中，Llama-3智能体成功率44.0%（33/75），确定性脚本Oracle为64.0%（48/75），McNemar p=3.01×10^-4；剔除规划器输出损坏后两者均为55.0%（33/60），不一致对数为零（p=1.00）。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口，而非认知推理缺陷，并审计了169次历史试点。
发布于 10-23 23:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Alpha: Systematic Fault Injection and Robustness Evaluation for LLM-Driven Embodied Manipulation》查看原链
arXiv:2610.30197v1 公告类型：新论文 摘要：大语言模型（LLM）正日益被集成到具身机器人规划中，但标准基准主要在标称环境下评估端到端任务完成情况，掩盖了执行栈中各环节的故障来源。 我们提出Alpha，一个用于仿真中LLM驱动机器人操作的系统性故障注入与鲁棒性评估框架。
Alpha在感知（传感器延迟）、驱动（抓取滑移）、运动学（不可达目标）和规划（规划器输出损坏）各环节注入经过校准的故障，并支持并发条件。 为区分物理脆弱性与规划器敏感性，我们引入一种配对方法，在相同随机种子、几何配置和安全标准下，将LLM智能体（通过Ollama调用Llama-3）与确定性脚本Oracle规划器在平衡的150回合矩阵上进行对比。
在整个矩阵上，Oracle成功率为64.0%（48/75），LLM为44.0%（33/75）（配对McNemar检验 p = 3.01 x 10^-4）。 关键在于，排除规划器输出损坏后，所有物理与运动学条件下的性能完全相同：两种规划器均为55.0%（33/60），不一致对数为零（McNemar p = 1.00）。
这表明物理执行器滑移、运动学可达边界和感知陈旧对确定性控制器与LLM规划器的影响是等效的。 性能差距完全由规划器输出损坏造成（Oracle 100% 对 LLM 0%），从而将问题定位到提示词到JSON的序列化与验证接口，而非认知推理缺陷。
我们还审计了169次历史试点尝试以保证透明度。