- 面向农业操作的视觉-语言-动作模型机器人学习该研究构建了一套面向农业抓取与采摘的仿真到真实机器人学习框架:基于MuJoCo搭建包含多种番茄植株结构的农业仿真环境,通过手柄遥操作采集专家演示,并用底层控制器执行机器人动作。研究将Octo与π0.5两个预训练通用机器人策略在仿真演示上适配,随后在实体Franka Research 3机械臂上用真实机器人演示进一步微调,并在分布内、视角/空间偏移和分布外条件下评估,同时考察本体感知信息对策略性能的影响。结果显示π0.5的任务表现得分高于Octo,且在分布偏移下性能退化更小。
- AffordSim:面向可供性感知机器人操作的可扩展数据生成器与基准AffordSim 将开放词汇 3D 可供性预测接入仿真轨迹生成:给定自然语言任务,合成场景、发出可供性查询并定位到物体表面、采样区域条件抓取,再用运动规划筛选可执行轨迹,同时随机化位姿、纹理、光照、噪声与背景以支持 sim-to-real。该基准含 50 个任务、五种机器人本体、500 多个刚性与铰接物体;在可供性关键任务上达到人工接触标注轨迹采集成功率的 93%,困难复合任务为 89%。用其数据训练的 VLA 策略零样本迁移到真实 Franka FR3,平均成功率 24%。
- 预训练知其然,仿真教其所以然:仿真训练的机器人智能体的组合泛化研究团队提出零真实数据智能体策略 ZAP:以预训练 27B 参数视觉语言模型为基座,经监督微调与 GRPO 在简单仿真任务上训练,训练全程不使用真实机器人数据。在真实世界任务上成功率达 96.7%,与 GPT-6 Astra 持平,高于 MolmoAct2 VLA 的 33.3%,运行速度快 3 倍、成本低 17 倍。ZAP 可泛化到训练数据中未出现的物体、目标与操作,包括试管入架并按要求换孔、双臂空中传试管、井字棋画 X 与下国际象棋;迁移到单臂 Franka 后在 RoboLab-120 上达 55.9%,领先最佳 VLA/WAM 基线 4.9 个百分点。
- 流匹配VLA策略中执行时域与采样深度的耦合该论文指出流匹配VLA部署中数值求解器深度与执行时域通常被解耦选择,并揭示二者存在由符号反转支配的计算-执行耦合:快速重规划下粗糙积分降低精度,但延长开环执行时粗糙积分反而提升任务表现,其机制是数值截断使横向动作离散度围绕不变的轨迹质心收缩,起到抑制开环漂移累积的隐式正则化作用。在LIBERO、RoboTwin 2.0及真实Franka操作任务上,针对π0、π0.5、GR00T等VLA骨干模型,利用该耦合可在无需训练、不改架构的前提下提升任务成功率并大幅降低推理延迟。
- SafeDojo:通过交互式世界模型实现VLA的安全强化学习研究提出 SafeDojo,一种基于模型的安全强化学习框架,在交互式视频世界模型之上对视觉-语言-动作(VLA)策略做在线强化学习:ResNet 成功分类器对预测未来帧打分,轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率,两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点,零样本 Level II 与最强无模型基线相当;真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。
- Safe-Night VLA:通过热感知视觉-语言-动作模型在安全关键操作中看见不可见之物该论文提出Safe-Night VLA多模态操作框架,将长波红外热感知集成进预训练视觉-语言骨干网络,使机器人能基于热力学属性进行语义推理。为应对分布外场景,框架通过控制屏障函数加入安全滤波器,在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验,设置温度条件操作、次表面目标定位与反射消歧三类评估任务,结果显示其性能优于仅RGB基线。
- 面向自适应机器人行为的灵活语言引导表征编辑MIT团队提出FLEX(Flexible Feature Editing Pipeline),利用语言模型根据自然语言纠正迭代优化机器人对任务特征的内部表征,包含三个互补操作:添加缺失特征、泛化已有具体特征、屏蔽无关特征。研究在2D导航、7自由度Franka桌面操作任务以及使用自然语言纠正与真机演示的真实世界研究中评估FLEX;与单操作及无脚手架基线对比显示,交互场景中三项操作均属必要,FLEX在保持紧凑可迁移表征的同时取得更高归一化奖励。
- FastVLA:面向高效视觉-语言-动作模型的任务条件与时间自适应视觉Token压缩FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。
- 移除该损坏会带来什么改变?面向视觉-语言-动作模型的失败归因研究提出“失败归因”问题:判断 VLA 模型中哪些视觉损坏对当前回合的失败风险有贡献、移除后能带来多大收益。方法为因子化风险模型,分别学习场景与损坏表示,通过潜在干预从当前图像和任务指令估计移除收益,无需成对干净图像或额外反事实 rollout。在仿真中对 OpenVLA 和 π0.5、在 Franka 机器人上对 π0.5-DROID 评估,归因误差约为前沿 VLM 的 1/3,并可用于硬件在线失败监测。
