TAPDreamer：面向世界动作模型的可迁移对抗补丁
研究提出 TAPDreamer，一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中，每个基准使用一个冻结补丁、覆盖约 6.5% 输入，使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%，在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%；匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%，Motus 降至 10.60%。作者据此认为，世界动作模型的防御需同时保护共享视觉编码器，仅保护下游动作生成不足。
发布于 10-22 10:57来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《TAPDreamer: Transferable Adversarial Patches for World Action Models》查看原链
arXiv:2610.06814v3 公告类型：replace-cross 摘要：世界模型学习预测环境将如何演化，因而成为通用机器人控制的重要基础。 然而，世界动作模型依赖摄像头输入，对这些输入进行操纵会破坏跨任务和动作策略所使用的视觉表征。
现有针对这些模型的攻击会针对受害者的动作或预测未来进行优化，因此需要访问目标模型的输出。 本文提出一种针对世界动作模型的攻击 TAPDreamer，它仅使用一个公开编码器来构造固定的局部扰动，该扰动可跨任务和动作架构迁移。 TAPDreamer 无需查询目标策略。
我们的关键洞见是：补丁引起的注意力权重变化与值向量之间的交互，会将几乎相同的表征偏移广播到远超补丁覆盖范围的区域，且这种偏移在不同任务观测下保持稳定。 基于这一洞见，TAPDreamer 使用来自一个源任务的六帧图像，最大化干净编码器表征与打补丁编码器表征之间的全局 L1 距离。
在闭环评估中，每个基准使用一个冻结补丁，覆盖约 6.5% 的输入，使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%，在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%；匹配的随机补丁则分别保持 81.5% 和 79.2% 的成功率。
相同补丁使两种 DreamWAM 配置的成功率降至 1.45% 和 1.00%，使 Motus 降至 10.60%。 这些结果表明，仅保护下游动作生成是不够的：世界动作模型的防御还必须保护共享视觉编码器免受持续局部扰动的影响。