inr2action：将机器人片段编码为神经隐式表示以用于回忆与动作
研究提出 inr2action 参数空间记忆框架：对每个机器人操作片段的视频拟合神经隐式表示，权重增量即作为该片段的记忆，且增量大小固定，不随片段帧数（一百帧至十万帧）变化。学习得到的投影器把权重增量映射为 token 嵌入，分别条件化语言模型做问答、条件化解码器做关节命令回归，查询时无需检索原始帧。在 RoboMME 上语言模型各题型均超随机水平，解码器平均 R² 为 0.51；将增量替换为匹配噪声后性能下降 11.4 个点，随机初始化权重无法解码。
发布于 10-22 12:59来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《inr2action: Encoding Robot Episodes as Neural Implicit Representations for Recall and Action》查看原链
标题：inr2action：将机器人片段编码为神经隐式表示以用于回忆与动作 摘要：长时程机器人操作需要一种记忆机制，其规模应随关键信息量增长，而不是随执行时间增长。 我们提出一种参数空间记忆框架，将每个片段存储为一个可分离对象。 我们从共享的、经元学习得到的初始化出发，对片段视频拟合神经隐式表示；由此产生的权重增量即构成记忆。
关键在于，无论片段跨越一百帧还是十万帧，该增量都保持固定大小。 一个学习得到的投影器将权重增量映射为 token 嵌入，用于条件化一个语言模型以进行问答，并条件化一个解码器以进行关节命令回归，查询时无需检索帧。 在 RoboMME 上，语言模型在所有问题类型上均超过随机水平，解码器取得 0.51 的平均 R²。
将增量替换为匹配噪声会使性能下降 11.4 个点，而随机初始化的权重无法解码，这证明元学习初始化对于嵌入片段内容至关重要。 通过将个体经验表示为公共参数空间中的固定大小权重增量，该方法使记忆成本与时间跨度解耦，并为可扩展的流式记忆提供了基础。