Safe-Night VLA：通过热感知视觉-语言-动作模型在安全关键操作中看见不可见之物
该论文提出Safe-Night VLA多模态操作框架，将长波红外热感知集成进预训练视觉-语言骨干网络，使机器人能基于热力学属性进行语义推理。为应对分布外场景，框架通过控制屏障函数加入安全滤波器，在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验，设置温度条件操作、次表面目标定位与反射消歧三类评估任务，结果显示其性能优于仅RGB基线。
发布于 10-22 13:01来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Safe-Night VLA: Seeing the Unseen via Thermal-Perceptive Vision-Language-Action Models for Safety-Critical Manipulation》查看原链
当前视觉-语言-动作（VLA）模型主要依赖RGB感知，无法捕捉热信号等传统视觉传感器不可见的模态。 此外，端到端生成式策略缺乏显式安全约束，在遇到障碍物和训练分布之外的新场景时表现脆弱。 为解决这些局限，我们提出Safe-Night VLA，一个多模态操作框架，使机器人能够看见不可见之物，同时在非结构化环境中执行严格的安全约束以实现热感知操作。
具体而言，Safe-Night VLA将长波红外热感知集成到预训练的视觉-语言骨干网络中，使语义推理能够基于热力学属性。 为确保分布外条件下的安全执行，我们通过控制屏障函数引入安全滤波器，在策略执行期间提供确定性的工作空间约束执行。 我们通过Franka机械臂上的真实世界实验验证了该框架，引入了一种新的评估范式，包括温度条件操作、次表面目标定位和反射消歧，同时在推理时保持约束执行。
结果表明，Safe-Night VLA优于仅RGB基线，并提供了经验证据表明基础模型能够有效利用不可见物理模态进行鲁棒操作。