给模型一根手指：视觉语言模型计数能力的发展对齐评测
研究提出免训练智能体循环，让视觉语言模型用标记工具计数，并按儿童计数发展原则审计其串行视觉推理过程。
发布于 10-21 14:11来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models》查看原链
视觉语言模型（VLM）在小集合上计数精确，在较大集合上则滑向估算，这一特征让人联想到尚未掌握计数的儿童。 儿童通过认知性动作跨越这一障碍：指着每个项目同时念出数词、把已数过的项目移到一边、对阵列进行分区。 我们在一个免训练的智能体循环中，把同样的动作作为没有任何视觉智能的简单图像工具交给VLM。
我们的核心主张关乎测量，而非干预：一个通过标记来计数的模型会在图像上留下一个通常隐藏的串行过程，而计数的发展原则将这些标记转化为对串行视觉推理的可解释审计：每个标签都对照点级真值被分类为命中、重复、幻影或遗漏，答案与标签数量进行核对，并通过强制相反遍历顺序来测试顺序无关性。
在9个模型、682张图像和7种测试装置条件下，我们发现：(i) 精确计数范围是模型特有的签名，跨越近两个数量级（R80从3到150个点）；(ii) 作为干预，手指大多失败：标签在9个模型中的4个上对小计数照片有帮助，对不精确的指针有害，且很少能胜过口头程序或盲点列表；该循环换来的是可审计的轨迹，而非准确率；(iii) 作为测量它成功了：标签扰动探针显示精确指针从标签读出答案，指向精度追踪哪些模型受益，密集场景因遗漏而失败，模型在看到自己的标签后很少修正；(iv) 这些能力相互分离：模型遵循指示的遍历顺序，却常在顺序反转时改变答案，而儿童在规则顺序下优于分散顺序的优势仅在程序下出现，并且在击败“行乘列”捷径的格点上依然存在。