舒适地卡住：Bench2Drive闭环评测协议中的评测陷阱
作者指出，基于CARLA的端到端驾驶主流基准Bench2Drive，其舒适度指标改编自nuPlan，存在实现错误和奖励静止的分段方案，在八个模型上与静止时长的相关系数达r=0.97；作者提出基于距离的修正指标，将该相关性降至r=0.06，并发现原指标报告的驾驶分数与舒适度强权衡在相同行驶速度下比较时不再可检测。作者还发现评测框架的两个导航信号陷阱：默认控制器可能用指向路线目标点的角度替换模型自身转向，评测时目标点可能与训练时显著不同，并在UniAD和VAD上演示了二者影响差异明显。修复将以独立代码发布，可直接从记录轨迹获得修正后的舒适度分数，无需重跑闭环仿真。
发布于 10-22 11:12来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Comfortably Stuck: Evaluation Pitfalls in Bench2Drive's Closed-Loop Protocol》查看原链
闭环评测被普遍认为比开环评测更能真实反映端到端（E2E）驾驶模型的表现，而基于CARLA仿真器构建的Bench2Drive已成为该领域的主流基准。 作者指出，该基准的评测协议本身存在陷阱，可能使被评分的模型表现失真。 Bench2Drive的舒适度指标改编自nuPlan，存在若干实现错误，其分段方案还会奖励车辆静止不动，因此该指标主要衡量车辆保持静止的时长；在八个模型上，该指标与静止时长的相关系数达到r=0.97。
作者提出一种修正的、基于距离的指标，将这一相关性降至r=0.06。 采用新指标后，一旦在相同行驶速度下比较模型，原指标所报告的强驾驶分数与舒适度之间的权衡关系便不再可检测，这表明舒适度权衡的是模型行驶速度的快慢，而非其驾驶水平的高低。 作者还发现评测框架在提供导航信号方面存在两个陷阱：默认控制器可能用指向路线目标点的角度替换模型自身的转向输出；评测时提供的目标点可能与模型训练时所见的目标点存在显著差异。
作者在UniAD和VAD上演示了这两个问题，二者影响差异明显，并主张未来的闭环评测应检查这些问题。 所有修复将以独立代码形式发布，从而可直接从记录的轨迹获得修正后的舒适度分数，无需重新运行闭环仿真。