SPECOLA：一种面向规范驱动的机器人评估工具
该研究提出 Specola，一个依据信号时序逻辑（STL）规范在仿真中评估机器人行为的工具，用于弥补成功率指标只反映任务是否完成、不反映成功余量、对目标参数变化的敏感性、违反的要求以及成功是否持续的不足。Specola 提供在仿真器信号上编写规范的接口，并在策略执行期间创建和管理监视器，同时提供 Python API 与命令行接口以接入现有策略执行循环。工具还提供适配器接口，已适配 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准，代码与适配器已在 GitHub 开源。
发布于 10-27 12:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《SPECOLA: A Tool for Specification Driven Robot Evaluation》查看原链
arXiv:2610.35730v1 公告类型：新 摘要：仿真基准是衡量机器人进展的有效方式；通常它们将成功率作为性能的主要指标。 然而，成功率只报告一次 rollout 是否完成了任务，掩盖了它以多大余量成功、成功对目标参数变化的敏感程度、它可能违反了哪些要求，以及成功是否持续。
信号时序逻辑（STL）提供了一种用于刻画规范的形式语言；它可用于定义要求，并度量机器人行为距离满足或违反这些要求有多近。 然而，在仿真器中使用 STL 监视器需要暴露仿真器状态并将其映射到与规范相关的信号。 我们提出 Specola，一种依据 STL 规范在仿真中评估机器人行为的工具。
Specola 提供用于在仿真器信号上编写规范的接口，并在策略执行期间创建和管理相关监视器。 我们提供 Python API 和命令行接口，用于将监控集成到现有的策略执行循环中。 我们提供用于连接新仿真器的适配器接口，并为九个仿真环境和基准提供适配器，包括 LIBERO、RoboCasa、Isaac Lab 和 RoboDojo。
我们提供案例研究，说明 Specola 所支持的细致评估。 代码和适配器可在 https://github.com/specola-eval/specola 获取。