经验记忆何时能帮助闭环LLM驾驶智能体？一项受控评估：重采样预热池、Token匹配填充与审计基线
论文在HighwayEnv测试台上受控评估LLM驾驶智能体的经验记忆，发现已报告的增益主要来自预热池抽样，且未超过token匹配填充对照。
发布于 10-21 14:11来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《When Does Experience Memory Help Closed-Loop LLM Driving Agents? A Controlled Evaluation with Resampled Warmup Pools, Token-Matched Fillers, and Audited Baselines》查看原链
经验记忆何时能帮助闭环LLM驾驶智能体？ 已发表的增益无法回答这个问题，因为我们发现最重要的两个因素——预热池中包含哪些经验，以及注入的token对提示词有何影响——在现有研究中都没有得到控制。 我们通过在一个经审计的HighwayEnv测试台上进行受控评估来回答这一问题（1Hz，决定性对比使用gpt-4o-mini）。
我们将预热池视为重采样的随机因素（十个不相交的池），并加入token匹配的无关填充对照、oracle认证的诊断、谨慎定价指标，以及对基线移植的量化审计。 探测套件涵盖纯文本检索（DiLu移植）、单帧网格移植（受RESPOND启发）、我们的情景时序图记忆、无检索的整合规则手册，以及扁平的K步观测历史基线。
由此得出四项发现，每项都是该测试台的性质。 (1) 头条记忆增益属于预热抽样。 所报告的池对两种检索记忆都是十个中最好的，而它们仅在十个池中的一个里击败无记忆（符号检验p=0.011），甚至规则手册表面上的池免疫性也在五个新抽样上崩溃。 (2) 所测试的检索设计均未超过token匹配填充。
仅碰撞合并上限由单条15 token的谨慎指令达到，而对谨慎定价的指标抹去了规则手册的领先优势。 (3) 表征复杂度在任何地方都没有稳健地发挥作用。 (4) 基线移植质量会悄然颠倒结论。 在该测试台上，没有填充对照的单池比较会报告出记忆增益，而这些对照会将其反转。
我们发布了测试台、经审计的移植、种子和缓存。