热成像人机交互中视觉语言模型理解人类活动的失败模式
研究评估了7个可本地部署的视觉语言模型（含面向物理AI与机器人的模型）在两个以人为中心的热成像数据集上的表现，诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别，但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳，生成的事件时间线不准确，并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益；即便给出明确指令，各模型的弃答行为也不一致。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI》查看原链
热成像相机使机器人能够在黑暗中感知人类活动，同时相比RGB相机，其泄露的可识别个人外观信息和周围环境细节更少。 随着原本为RGB图像开发的视觉语言模型（VLM）越来越多地被集成到具身系统中用于场景理解和高层规划，热成像感知为将活动感知扩展到低光照和隐私敏感场景提供了一条有前景的途径。
然而，VLM在热成像人类活动理解中用于人机交互（HRI）的失败模式仍缺乏研究。 我们通过在两个以人为中心的热成像数据集上评估七个可本地部署的VLM（包括为物理AI和机器人开发的模型）来填补这一空白。 我们的诊断任务考察细粒度动作识别、活动时间线重建以及拒绝给出无依据答案的能力。
配对的RGB记录作为性能参考，同时通过受控改变帧采样、热成像输入呈现方式和推理来评估观察到的错误是否可以缓解。 结果表明，模型能够识别宽泛的活动类别，但在咳嗽、打喷嚏和打哈欠等细粒度动作上表现不佳。 它们还会生成不准确的事件时间线，并幻觉出涉及物体的动作。
简单的热成像输入预处理和额外推理仅带来有限的、依赖模型的增益。 即使在明确指令下，弃答行为也因模型而异，限制了它们在实际机器人使用中的可靠性。