跳到主要内容
Evolvant
订阅

EAST:通过数字孪生中的系统性故障注入进行具身AI安全测试

研究者提出 EAST 数字孪生框架,将文献中的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,包含经专家评审的安全故障分类体系和8个可执行算子。在6个 RoboTwin 操作任务及 ACT、RDT 两种策略架构上,五轮对比实验覆盖全部74个任务-策略-算子组合,其中63个获得有效证据,安全挑战暴露率接近 Random-Legal 与 Rule-Based 方法。另有82次有效执行在违反安全要求的情况下仍完成任务,显示以任务成功为导向的评估会掩盖风险。

发布于 10-27 12:58来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《EAST: Embodied AI Safety Testing via Systematic Fault Injection in Digital Twins》查看原链

任务成功不足以衡量具身人工智能(AI)的安全性,因为机器人可能在违反安全要求的情况下完成目标。 现有评估往往强调性能与鲁棒性,但缺乏从已记录的安全危害到可执行、可验证测试的系统化路径。 我们提出 EAST(具身AI安全测试),一个数字孪生框架,将基于文献的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试。

EAST 结合了经专家评审的安全故障分类体系与八个可执行算子,并附带适用性与有效性约束。 其三阶段工作流生成测试规范、在仿真执行中验证故障是否真实发生,并基于仿真器状态证据独立评估安全挑战、违规、任务结果与行为特征。 该框架保留执行轨迹与可回放记录,支持跨实验的归因与可复现性。

我们在六个 RoboTwin 操作任务和两种策略架构 ACT 与 RDT 上,在预算匹配条件下将 EAST 与替代测试策略进行对比评估。 在五轮对比实验中,EAST 覆盖全部 74 个可允许的任务-策略-算子组合,并为其中 63 个获得有效证据,同时安全挑战暴露率接近 Random-Legal 与 Rule-Based。

此外,82 次有效的 EAST 执行在违反安全要求的情况下仍完成了任务,揭示了以成功为导向的评估所掩盖的风险。 这些发现支持超越任务完成指标的系统化、有效性感知且可复现的安全测试。

来源arXiv cs.ROen原文发布 10-27访问原文