跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究提出事后核方差头(post-hoc kernel-variance heads),从单个 VLA 策略的嵌入估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试,其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当;视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别,执行变异性削弱任务内排名评估,受控扰动可作为补充评估。

    arXiv cs.RO研究具身智能大模型多模态

  2. 论文提出OMAR流程:视觉语言模型为未知物体生成标签及内容、包装类型等属性,经分割、深度与多视图关联完成跨视图定位,构建实例级3D场景图;再由LLM在该表示上推理货架潜在组织方式,对场景一致的放置位置排序,无需用户提供偏好,排序结果用于后续几何与运动学可行性检查。实验显示,该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线,可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。

    arXiv cs.RO研究具身智能大模型多模态

  3. arXiv 2610.29829v1 提出将物理AI的零样本泛化定义为对部署分布的覆盖,并指出同一采集者的更多样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。作者据此提出机器人动作共享潜在空间,结合多模态对齐、生成式增强与噪声标签学习,并以标准易用机器人 Origami 上的开发者社区作为多样数据来源,最后给出将真实机器人零样本成功率与数据多样性关联的可检验假设和评估协议。

    arXiv cs.RO研究具身智能大模型多模态

  4. SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作:对每段视频重建场景几何并估计手部运动,用手部尺寸先验在视频级尺度上对齐二者,重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何,预测未来场景几何与手腕、手指动作,并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后,该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分,在六个真实双手灵巧任务上高 38.3 分;匹配比较下,用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。

    arXiv cs.RO研究具身智能灵巧手大模型

  5. FlowVLA 将运动生成与物理补全估计分离:共享 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒与返回,另一与目标无关的估计器融合视觉、关节、腕部力/力矩及循环力信念历史来估计已转移质量,当估计值加预测残余流出量达到请求质量时触发返回。在咖啡壶/水实验中,其目标均衡平均绝对误差(MacroMAE)为 13.1 g,低于所有测试的 VLA 基线;全部尝试中 53.7% 既完成任务又将最终质量控制在请求值 ±10% 内。同一模型无需重训即可插值到留出的 150/250 g 目标,独立训练模型还在另外三种容器-流体设置中验证了该公式。

    arXiv cs.RO研究具身智能运动控制大模型

  6. 研究提出SERA(自进化机器人智能体):将高层VLM组织为机器人智能体,通过可编辑执行框架维护任务上下文,并用观测与执行反馈更新上下文以指导后续规划;低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订,选定配置在留出测试前固定。在RoboMME基准上,SERA自主选择配置的总体成功率为51.38%,无自进化时为44.38%。

    arXiv cs.RO研究具身智能大模型多模态

  7. 研究提出 PAL(Plan first, Act Later)分层记忆框架,用于视觉-语言机器人操作,包含短期视觉缓冲、语义事件记忆和可执行 subtask_list。高层 VLM 将流式视觉观测转为 subtask_list,执行时选取当前相关子任务交给底层 VLA 策略;配套两阶段数据生成,先扩展稀疏更新监督,再用任务落地验证的自标注生成训练数据。在 RoboMME 上成功率达 56.05%,超过最强基线 FrameSamp-Modul 的 44.51%;四项真实操作任务总体成功率 60.83%,高于 MemER 的 45.00% 和 FrameSamp-Modul 的 28.33%。

    arXiv cs.RO研究具身智能大模型多模态

  8. 针对世界动作模型(WAM)的视频与动作目标未显式约束三维几何、而逐点对齐三维基础模型特征又会过度约束紧凑动作特征的问题,论文提出关系几何强制(RGF):从冻结的三维基础模型迁移几何先验,对齐成对特征关系而非逐点特征。RGF 包含帧内、跨视角、动作-时间三个互补关系目标,仅在训练阶段使用,无需显式几何分支或额外推理模块。仿真与真实世界实验显示,在多种操作场景和 WAM 范式下均取得一致增益。

    arXiv cs.RO研究具身智能强化学习大模型

  9. 该论文提出DepState-JEPA,一种基于V-JEPA 2.1的双流RGB-深度联合嵌入预测架构,通过共享潜在状态DepState将空间理解与动作条件预测连接。深度既作为互补观测流,也用于将两种模态锚定在度量三维空间中;射线条件读出无需目标深度即可预测局部特征,动作条件转移后同一解码器预测未来RGB与深度特征。机器人状态读出提供递归本体感受输入,物体轨迹监督与校准正向运动学通过运动目标和关节-TCP一致性塑造状态学习。对比显示RGB-D适配后RGB编码器迁移、特征补全、条件视觉预测和操作成功率均有提升,消融实验识别出深度内容、度量坐标、未来状态匹配的贡献及FK正则化的额外控制增益。

    arXiv cs.RO研究具身智能强化学习大模型

  10. MIT团队提出FLEX(Flexible Feature Editing Pipeline),利用语言模型根据自然语言纠正迭代优化机器人对任务特征的内部表征,包含三个互补操作:添加缺失特征、泛化已有具体特征、屏蔽无关特征。研究在2D导航、7自由度Franka桌面操作任务以及使用自然语言纠正与真机演示的真实世界研究中评估FLEX;与单操作及无脚手架基线对比显示,交互场景中三项操作均属必要,FLEX在保持紧凑可迁移表征的同时取得更高归一化奖励。

    arXiv cs.RO研究具身智能运动控制大模型

  11. 研究提出 inr2action 参数空间记忆框架:对每个机器人操作片段的视频拟合神经隐式表示,权重增量即作为该片段的记忆,且增量大小固定,不随片段帧数(一百帧至十万帧)变化。学习得到的投影器把权重增量映射为 token 嵌入,分别条件化语言模型做问答、条件化解码器做关节命令回归,查询时无需检索原始帧。在 RoboMME 上语言模型各题型均超随机水平,解码器平均 R² 为 0.51;将增量替换为匹配噪声后性能下降 11.4 个点,随机初始化权重无法解码。

    arXiv cs.RO研究具身智能大模型多模态

  12. T-WLA 是一种世界-语言-动作架构,用共享视觉记忆同时驱动动作生成与触觉修正:视觉分支每次更新时把当前图像、任务指令与检索历史整合为视觉记忆,该记忆被缓存给轻量级触觉编辑器,后者结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。训练阶段以未来图像与未来压力预测作为辅助监督。在 EgoTouch 与 Tachin 的触觉条件手部运动预测上,手指关节 MPJPE 较最强已报告基线降低 30%;四个真实灵巧操作任务平均成功率约 50.0%。

    arXiv cs.RO研究具身智能灵巧手传感器

  13. 研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  14. CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。

    arXiv cs.RO研究具身智能大模型多模态

  15. 研究提出EMMA框架,结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频,支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练,并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中,相比仅用真实数据训练,性能相对提升超92%,加入AdaMix后额外提升17%。

    arXiv cs.RO研究具身智能大模型多模态

  16. PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。

    arXiv cs.RO研究具身智能灵巧手大模型

  17. 研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型多模态

  18. 研究提出 NestedVLA,可在不访问原始训练数据的情况下整合多个独立微调的 VLA 策略:嵌入 VLA 的超网络为选定任务生成动作专家权重更新,每个任务的压缩视觉-语言模型更新单独存储,两类更新叠加到冻结的基础 VLA 上实例化对应策略。在 MetaWorld、ManiSkill、CALVIN 上用强化学习微调的三个策略上评估,平均成功率 66.7%,比最强模型合并基线高 41.1 个百分点;在 ManiSkill 上与逐任务微调差距在 1 个百分点内,在 CALVIN 上明显缩小差距;三策略设置下总存储为单个完整检查点的 1.5 倍。代码已开源于 GitHub。

    arXiv cs.RO研究具身智能强化学习大模型

  19. FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。

    arXiv cs.RO研究具身智能大模型多模态

  20. WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型:因果短期视觉记忆把近期观测作为 DiT 预填充,长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索,检索结果增强感知与自回归规划 token 形成隐式子目标条件,语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集,含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。

    arXiv cs.RO研究具身智能大模型多模态