评估具身视觉语言模型的社会推理能力
研究在SHREC真实人机社会交互基准上评估Gemini Robotics-ER，并与已发表的通用VLM基线对比：Robotics-ER在错误/能力检测上优于GPT-4o-mini，但在细粒度社会属性判断上更差；增加一帧视觉输入对一个任务有帮助、对另一个任务有损害。作者指出比较跨越不同模型家族，差异不能单独归因于具身专用化，并提示多机器人系统共享基础模型可能使系统性社会感知错误影响多个协调决策。该工作为初步评估，跨情境与视频分析留待后续。
发布于 10-22 10:54来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Evaluating Social Reasoning in Embodied Vision-Language Models》查看原链
基础模型如今充当机器人团队的推理层，但具身专用视觉语言模型（VLM）是否保留了通用VLM的社会推理能力仍不清楚。 我们在SHREC（真实人机社会交互基准）上评估Gemini Robotics-ER，并与已发表的通用VLM基线比较。 Robotics-ER在错误/能力检测上优于GPT-4o-mini，但在细粒度社会属性判断上表现更差；增加一帧视觉输入对一个任务有帮助，对另一个任务则有损害。
这些结果表明，具身专用模型在可直接从可观察交互线索读取的社会判断上，与需要更多推断人物内部状态的判断上，表现可能不同。 由于比较跨越不同模型家族，这些差异不能单独归因于具身专用化。 这对多机器人系统很重要，因为共享的基础模型可能使系统性的社会感知错误影响多个协调决策。
本工作为初步评估，更广泛的跨情境和基于视频的分析留待未来工作。