跳到主要内容
Evolvant
订阅

rMuscle:面向高效视觉-语言-动作模型推理的机器人肌肉记忆

rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架,通过双阶段缓存利用机器人重复执行间的相似性:上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问,并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上,于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速,真实机器人成功率保持不变。

发布于 10-22 13:01来源:arXiv cs.RO

转载 · 官方发布原文:arXiv cs.RO ·《rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference》查看原链

arXiv:2609.19104v3 公告类型:替换 摘要:工厂作业是具身智能一个有前景的早期场景:将重复性体力工作交给机器人具有明确的经济收益,而结构化工作站使这些任务对当前策略而言仍可处理。 视觉-语言-动作(VLA)模型目前是这类机器人策略范式的主流。

VLA 模型的推理延迟直接影响机器人的响应速度和运动平滑度。 然而,现有 VLA 推理框架并未充分利用具身工作负载的特征,也未考虑 VLA 推理不同阶段各自的瓶颈。 本文首先刻画了具身工作负载,并发现重复的机器人执行之间存在显著的任务相似性。

我们进一步发现,这种相似性不仅体现在观测和动作轨迹上,还延伸到模型内部状态。 基于这些观察,我们提出 rMuscle,一个受人类肌肉记忆启发的实时 VLA 推理框架。 它通过双阶段肌肉记忆缓存利用跨执行相似性。 上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问。

我们通过在线缓存重计算、滑动窗口缓存检索以及连续去噪步骤间的掩码共享,将缓存内存占用和访问开销保持在较低水平。 rMuscle 在 RTX 4090 和 Jetson Thor 上,于 LIBERO、RoboTwin 和物理操作任务中实现 1.29-1.42 倍加速,同时在真实机器人上保持原始成功率。

来源arXiv cs.ROen原文发布 10-22访问原文