跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出HGWM,将LLM生成的房间锚点先验与持久空间语义记忆结合,用于零样本物体导航:粗阶段以0-10分对候选朝向打视觉语义分,细阶段衡量观测物体、房间上下文与目标先验的符号兼容性,再经相位相关融合与LLM方向建议结合后选择局部动作。在HM3D v0.1上报告62.6% SR、31.5% SPL,WMNav为58.1%、31.2%;MP3D上为46.8%、17.9%,对比45.4%、17.2%;HM3D v0.2完整模型为74.4% SR、31.9% SPL。组件消融使SR下降0.9-2.3个百分点、SPL下降0.6-1.5点。作者称实现通过离线测试,但无逐回合重跑记录,评估仅限仿真。

    arXiv cs.RO研究具身智能大模型智能体

  2. arXiv 论文提出 ArtifactArena 开放式评测平台,要求模型完成物理落地的软硬件协同设计任务:设计功能完整的机器人,并在仿真竞技场中对战。评测覆盖零样本、验证器引导的迭代优化和开放式物理设计三种能力,分别依据文本描述、物理仿真器反馈和对战数据改进机器人制品;模型排名由制品间一对一锦标赛的 Elo 分决定。框架与锦标赛基础设施对外开放,供社区持续提交,以构建不会饱和的测试平台。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  3. 研究团队提出 RMMBench 评测基准,将高层与低层具身任务整合进统一框架,构建含 70 个规范任务场景的“导航-操作”任务套件,覆盖从局部操作到长时程复合导航。该基准要求机器人在连续空间中理解语言指令并执行长时程任务,以弥补现有基准任务类型与评测指标有限的问题。结果显示,领先的视觉语言模型在移动操作任务的空间定位上仍存在明显不足,长时程交互中机器人空间感知能力有待增强。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  4. 研究团队提出Embodied Agent Arena,在几何、空间推理、可供性、任务规划与操作五个维度评测十个VLM智能体,1000个案例由32个既有来源与自建GeoProbe基准(168案例,覆盖相机、运动、深度与尺度估计)组成。结果显示闭源权重模型在全部五个领域领先,开源权重VLM空间推理可用但规划与操作成功率明显更低。执行中智能体可达成早期子目标却失去物体控制、将动作绑定到错误接收区域或提前停止;代码修复能恢复执行但不完成任务,自我审查可能推翻正确判断。

    arXiv cs.RO研究具身智能大模型智能体

  5. 论文提出 WorldEcho 评估框架,用视觉完整性和 SE(3) 末端执行器轨迹对齐两项指标,在比专家演示更广的动作分布上检验动作条件世界模型是否真正遵循指令动作。诊断发现,经专家数据训练的模型在演示动作上表现较好,但在非专家轨迹上会生成与指令动作不一致的运动或视觉上无效的推演。为此作者提出 WorldSync,通过扩大动作覆盖、用 Action-Forcing Expert 将中间视频表示锚定到动作引发的机器人动力学、并在动作干预下对齐预测与真值变化。实验显示 WorldSync 降低了 RoboTwin 上的完整性门控误差,用于迭代策略改进时在仿真和真实机器人上成功率更高。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  6. 该论文提出 PartialBiGrasp 双臂抓取生成框架,直接以部分点云观测为输入,不依赖完整点云。模型通过卷积占用网络隐式学习几何特征,对可抓取性、无碰撞接触区域和物体厚度进行局部推理,生成满足力闭合约束的抓取对,再用基于采样的优化修正不完整几何带来的歧义。验证包括解析力闭合指标、大规模仿真实验,以及在含噪声部分点云的新物体上开展的真实机器人实验。

    arXiv cs.RO研究具身智能运动控制仿真与数字孪生

  7. 论文提出 Graph-as-Policy(GaP)多智能体编码框架,从模块化开放机器人技能库(MORSL)生成含感知、规划、控制节点的有向计算图,用于物体几何与位姿变化较大的“变异性自动化”(VA)任务。GaP 构建内部仿真环境,并行用不同图排练任务实例,迭代优化图结构与参数以提升成功率和吞吐量。作者在 8 个新开放 VA 基准(4 个仿真、4 个真实世界)上评估,称成功率显著优于基线,并公开代码与数据。

    arXiv cs.RO研究具身智能运动控制仿真与数字孪生

  8. 研究针对VLA模型在有限机器人演示数据上微调会破坏预训练语义结构、削弱泛化的问题,提出将动作表征锚定到语义流形,并分解为共享语义通道与私有通道,推理时全部丢弃、不改变部署模型。方法在仿真与真实世界基准、多种VLA骨干网络上验证,真实世界分布内任务最高提升18.7%,分布外泛化最高提升21.5%。

    arXiv cs.RO研究具身智能强化学习大模型

  9. 论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。

    arXiv cs.RO研究具身智能强化学习大模型

  10. 该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  11. SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。

    arXiv cs.RO研究具身智能仿真与数字孪生开源

  12. Astrobee自由飞行机器人在国际空间站完成首次在轨演示:用机器学习热启动加速轨迹优化。方法训练神经网络学习序列凸规划(SCP)求解的轨迹生成问题结构,在轨由网络预测解、SCP求解器强制安全约束。含旋转动力学的案例求解器迭代次数减少60%,障碍物取自热启动模型训练分布的案例减少50%。

    arXiv cs.RO研究运动控制强化学习仿真与数字孪生

  13. RobustRLlib 在统一接口下集成 17 种鲁棒在线、离线与安全强化学习算法,并配套覆盖真实世界扰动及人形机器人、视觉-语言-动作任务的评估平台。该系统在 273 种扰动配置上完成评测,给出当前鲁棒 RL 算法的能力图谱,指出有效区间与仍存在的鲁棒性差距。项目以开源形式发布,代码库可复现、可扩展。

    arXiv cs.RO研究人形机器人具身智能强化学习

  14. 首尔大学研究团队提出从大规模演示数据中学习速度先验,给定任务指令、运动路径及沿途图像预测执行速度分布,取分位数作为统一时钟对演示重定时,单个先验覆盖语料库全部任务。该方法在机器人遥操作与手持演示数据上拟合,将机器人演示重定时为手持节奏后微调视觉-语言-动作策略,执行时配合实时最优控制层跟踪动作块。在120个RoboLab任务上,微调策略成功率更高、抖动最多降低一半;真实机器人叠杯耗时3.50秒,比默认策略6.02秒快1.72倍,30次试验成功29次。

    arXiv cs.RO研究具身智能运动控制大模型

  15. arXiv 论文指出,人形机器人安全过滤器的碰撞规避数学保证仅在安全参数配置正确时成立,而参数配置依赖具体任务与环境,缺乏通用确定方法,导致出厂过滤器在特定部署场景下失效。作者提出目标插入攻击,并开发自动化工具 SIREN 为给定任务与环境搜索易受攻击的插入目标;在 SPARK 数据集全部存在漏洞的场景中均识别出攻击,数量为基线方法的三倍,并能在真实人形机器人上生成攻击、使其在执行任务时发生碰撞。

    arXiv cs.RO研究人形机器人运动控制安全与伦理

  16. 研究提出一种接入ROS 2 Nav2的自然语言策略接口:本地大语言模型将操作员指令转为JSON策略,指定目的地、空间约束及时间或事件条件,确定性检查决定任务是否接受,三个代价地图适配器把接受的策略投影进现有导航栈,不改动规划器与控制器。在150条研究者编写的英文指令上,四个本地模型产出107-142条正确接受策略,规则解析器为44条,各模型错误接受3-20次;故障注入中8个端点/JSON故障与29个验证器阶段故障被拒。仿真与TurtleBot3实验中,任务1-3平均行驶时间较无策略基线在仿真降低18.4-24.5%、实体平台降低23.1-35.0%。

    arXiv cs.RO研究运动控制仿真与数字孪生大模型

  17. DexPort 是面向高自由度机器人手的手持式便携数据采集接口,采集与部署使用同一套手部硬件以消除手部本体差异,同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指运动,无需逐关节控制。研究团队在 4 项任务(多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描)中于实验室与野外采集超过 2,500 条演示,用行为克隆直接训练视觉运动策略。结果显示,使用记录的机器人指令替代状态使成功率从 11% 提升至 64%,使用野外数据使任务成功率从 36% 提升至 78%。

    arXiv cs.RO研究具身智能灵巧手强化学习

  18. 研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。

    arXiv cs.RO研究具身智能强化学习大模型

  19. 论文提出 ViT-H 框架,用扩散模型从单目人类视频直接生成人形机器人参考运动,跳过人体运动重建与重定向两步,并用下游运动跟踪结果通过直接偏好优化对生成器做后训练。作者还给出自回归变体,在 Unitree G1 上实现延迟低于 400 毫秒的实时视频遥操作。实验称其在运动质量与可执行性上优于现有“重建-重定向-跟踪”流水线,且随模型规模、预训练与后训练数据规模扩展表现良好。

    arXiv cs.RO研究人形机器人具身智能运动控制

  20. 研究团队发布 CoCarry 数据集,含 220 条同步双人协同搬运序列,覆盖 21 种任务方案、5 种共享物体几何、4 种地形,总时长约 61 分钟。配套提出接触-支撑结构化重定向方法,围绕同一预设物体轨迹联合优化两台人形机器人,用物体局部手部锚点保持四手抓取关系。220 条序列重定向至两台 A3 人形机器人后接触保持率 0.9995,穿透时长较 GMR、OmniRetarget 分别降低 67.0% 和 71.0%,成功率 100%;在 Unitree G1 上的 CORE4D 测试接触保持率 0.9906、滑动为零,并经物理仿真与两台实体 A3 实验验证。

    arXiv cs.RO研究人形机器人运动控制仿真与数字孪生