TRIAGE：高效的视觉-语言-动作推理需要复用与剪枝并用
论文提出免训练 VLA 推理加速方法 TRIAGE：通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝，漂移低于按主干校准的阈值且缓存不过旧时复用，否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点，Jetson AGX Orin 上预填充延迟最多降低 48%；仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。
发布于 10-27 12:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning》查看原链
arXiv:2610.34519v1 公告类型：新论文 摘要：视觉-语言-动作（VLA）模型越来越多地用于机器人操作，因为它们将相机图像和语言指令直接映射为动作。 无法连接到工作站的机器人（如移动操作机器人和人形机器人）必须在板载嵌入式主板上运行这些模型，而在每个控制步骤中，语言主干网络的预填充延迟会随着所处理的数百个视觉 token 而增长。
为满足实时性限制，免训练加速器只重新计算一部分视觉 token 并跳过其余 token，跳过方式要么是剪枝，要么是复用其缓存的键值（KV）状态。 这两种方式节省的计算量几乎相同，但现有方法对每个被跳过的 token 只采用其中一种。 通过 token 级诊断，我们表明哪种方式能使动作更接近完全重计算，取决于该 token 的漂移，即其浅层值自缓存计算以来的变化。
在测试的两个主干网络上，对漂移低于阈值的 token 进行复用并不比剪枝差，而超过该阈值后，复用产生的动作误差最高可达剪枝的 4.4 倍；同一诊断可为每个主干网络校准该阈值。 基于这一发现，我们提出 TRIAGE：当缓存的漂移低于该阈值且缓存不过旧时，就认为该缓存有效。
TRIAGE 以固定预算重新计算 token，优先处理缓存无效的重要 token，复用所有其他缓存有效的 token，并剪枝剩余 token；仅剪枝和仅复用两种方法分别是这一划分的两个极端。 由于预算固定了重新计算的 token 数量，它直接决定了预填充延迟。
在 LIBERO 和 SimplerEnv 上，TRIAGE 的平均成功率与完全重计算相差不超过 3 个百分点，同时在 Jetson AGX Orin 上将预填充延迟最多降低 48%；在仅重新计算 7% 视觉 token 的情况下，它在 LIBERO-Object 上比最强基线高出 24.4 个百分点。