跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究提出 SLoSa 神经-符号压缩与微调框架,用经典规划器、教师 LLM 和形式化验证器构建安全感知数据集,再经监督微调与验证奖励机引导的强化学习训练小型机器人任务规划器。在四个 PDDL 领域上,4B-14B 模型成功率提升至 70.5-76.0%;INT4 部署于 Jetson Orin 平均功耗 17.85-26.41 W。家庭仿真环境与桌面机械臂实验验证了适用性。

    arXiv cs.RO研究具身智能大模型智能体

  2. 研究提出Context-Aware Navigation Explanation框架,用大语言模型将感知上下文与规划的未来轨迹结合,生成导盲犬避障与导航动作的自然语言解释,并在Unitree Go2平台上于室内导航场景部署。实验评估不同解释上下文配置对用户信任与解释满意度的影响,结果显示二者呈强正相关,且将障碍物信息与未来轨迹结合的解释效果最佳。

    arXiv cs.RO研究服务机器人具身智能大模型

  3. MIT团队提出FLEX(Flexible Feature Editing Pipeline),利用语言模型根据自然语言纠正迭代优化机器人对任务特征的内部表征,包含三个互补操作:添加缺失特征、泛化已有具体特征、屏蔽无关特征。研究在2D导航、7自由度Franka桌面操作任务以及使用自然语言纠正与真机演示的真实世界研究中评估FLEX;与单操作及无脚手架基线对比显示,交互场景中三项操作均属必要,FLEX在保持紧凑可迁移表征的同时取得更高归一化奖励。

    arXiv cs.RO研究具身智能运动控制大模型

  4. 研究提出 inr2action 参数空间记忆框架:对每个机器人操作片段的视频拟合神经隐式表示,权重增量即作为该片段的记忆,且增量大小固定,不随片段帧数(一百帧至十万帧)变化。学习得到的投影器把权重增量映射为 token 嵌入,分别条件化语言模型做问答、条件化解码器做关节命令回归,查询时无需检索原始帧。在 RoboMME 上语言模型各题型均超随机水平,解码器平均 R² 为 0.51;将增量替换为匹配噪声后性能下降 11.4 个点,随机初始化权重无法解码。

    arXiv cs.RO研究具身智能大模型多模态

  5. 研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  6. CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。

    arXiv cs.RO研究具身智能大模型多模态

  7. 研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。

    arXiv cs.RO研究具身智能大模型安全与伦理

  8. 研究提出EMMA框架,结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频,支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练,并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中,相比仅用真实数据训练,性能相对提升超92%,加入AdaMix后额外提升17%。

    arXiv cs.RO研究具身智能大模型多模态

  9. PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。

    arXiv cs.RO研究具身智能灵巧手大模型

  10. 研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型多模态

  11. HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型智能体

  12. 研究提出 NestedVLA,可在不访问原始训练数据的情况下整合多个独立微调的 VLA 策略:嵌入 VLA 的超网络为选定任务生成动作专家权重更新,每个任务的压缩视觉-语言模型更新单独存储,两类更新叠加到冻结的基础 VLA 上实例化对应策略。在 MetaWorld、ManiSkill、CALVIN 上用强化学习微调的三个策略上评估,平均成功率 66.7%,比最强模型合并基线高 41.1 个百分点;在 ManiSkill 上与逐任务微调差距在 1 个百分点内,在 CALVIN 上明显缩小差距;三策略设置下总存储为单个完整检查点的 1.5 倍。代码已开源于 GitHub。

    arXiv cs.RO研究具身智能强化学习大模型

  13. FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。

    arXiv cs.RO研究具身智能大模型多模态

  14. WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型:因果短期视觉记忆把近期观测作为 DiT 预填充,长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索,检索结果增强感知与自回归规划 token 形成隐式子目标条件,语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集,含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。

    arXiv cs.RO研究具身智能大模型多模态

  15. ZeroDex提出零样本长程灵巧操作框架,将语言指令从标定多视角RGB图像接地为可执行3D任务规划,输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务,通过可复用原语库执行抓取放置与工具使用;工具使用检索物体中心原子动作并对齐6D工具轨迹,灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线,且无演示系统优于在100个任务演示上微调的VLA策略,并支持执行验证与重规划恢复中间失败。

    arXiv cs.RO研究具身智能灵巧手大模型

  16. arXiv:2606.10180v2 提出对视觉-语言-动作(VLA)模型的“流控制”方法:将键盘等通用用户输入写入VLA流匹配动作专家的初始条件,利用流的确定性在积分过程中保留用户输入信息,无需重新训练或微调即可实时引导动作。作者报告该方法能准确响应地引导机器人动作、对次优输入鲁棒、帮助用户显著提高成功率并加快任务完成,且在流控制轨迹上微调可改进自主策略。

    arXiv cs.RO研究具身智能运动控制大模型

  17. 该论文提出DEFLECT离线后训练框架,利用录制轨迹中执行时刻观测与预测时刻观测的时序对比构建偏好监督,解决异步VLA推理中动作块与执行时刻状态错配的问题。在Kinetix、LIBERO及三个真实机器人任务上测试,最长支持延迟下Kinetix成功率较VLASH提升4.2个百分点,LIBERO上较使用GR00T N1.7的朴素异步执行提升22.7个百分点。

    arXiv cs.RO研究具身智能强化学习大模型

  18. 英伟达PAR实验室提出JCA模型,为任意骨架同时生成视频与可回放的3D运动,并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中,通过少量交叉注意力层连接预训练视频模型,使运动模型可先用纯运动数据学习;模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建,结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线,并支持视频与骨架运动互转及关键帧控制。

    arXiv cs.RO研究仿真与数字孪生大模型多模态

  19. 论文提出 CoGaussian,一个基于开放词汇高斯表示的协同语义占据预测框架,将场景表示为一组与基础模型对齐的稀疏三维高斯,作为多智能体之间通信与融合几何、语义信息的紧凑表示。该方法针对现有协同语义占据方法依赖稠密三维体素标注、且只能识别预定义语义类别的问题。在 Semantic-OPV2V 基准上,CoGaussian 优于现有的开放词汇单智能体方法。

    arXiv cs.RO研究大模型多模态自动驾驶