Cartender：通过学习未采取的驾驶行为实现可验证的语言条件驾驶
研究提出 Cartender 方法，从真实驾驶记录中构建反事实分支：由视觉语言模型提出替代未来及对应选择指令，不受支持的指令作为负标签，无需模拟器。方法学习场景-语言兼容性分数调节轨迹生成，并用奖励训练的语言残差对候选重排序。在 WOD-E2E 上，3,603 个可行指令条件下最佳提案 RFS 为 8.642；8,974 个被接受提案平均 RFS 8.203，高于匹配记录轨迹的 7.906，67% 提案得分超过记录对应项。同场景配对指令成功率从 23.67% 升至 57.00%，RFS 从 6.32 升至 7.10，不可行指令执行率从 53.36% 降至 14.18%。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Cartender: Verifiable Language-Conditioned Driving by Learning the Drives Not Taken》查看原链
arXiv:2610.26390v2 公告类型：替换 摘要：每个驾驶场景只被记录一次，但驾驶是一对多的：场景决定哪些行为可行，而指令在其中进行选择。 日志只记录已采取的动作，对替代的可行动作或场景无法支持的指令没有直接监督。 因此，忽略语言的策略和不考虑场景约束而遵循语言的策略可以拟合相同的数据。
我们提出 Cartender，它从“未采取的驾驶”中学习。 反事实分支（Counterfactual Branching）无需模拟器即可从真实记录中构建匹配与不匹配的指令-动作对：视觉语言模型提出替代未来及其选择指令，而不受支持的指令提供负标签。
学习到的场景-语言兼容性分数在轨迹生成中调节语言条件，经奖励训练的语言残差在基于场景的分数上对生成的候选进行重排序。 分支用于训练；指令遵循通过在相同记录输入下交换指令并测量行为而非与生成目标的一致性来评估。 在 WOD-E2E 上，四个提案中的最佳者在 3,603 个可行指令条件下达到 8.642 的 RFS。
在 8,974 个被接受的提案中，平均 RFS 为 8.203，而匹配的记录轨迹为 7.906，67% 的提案得分高于其记录对应项。 与使用相同骨干的仅匹配模仿相比，Cartender 将同场景配对指令成功率从 23.67% 提升至 57.00%，RFS 从 6.32 提升至 7.10；其门控将不可行指令执行率从 53.36% 降至 14.18%。