跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出 KITE 方法,将操作解耦为与具身无关的交互意图预测和具身特定的运动学解码,交互意图以接触模式为基础的学习表示连接。交互策略仅在源机器人演示数据上训练并在不同形态目标机器人间共享,运动学解码器则利用各具身运动学模型生成的合成数据学习。在仿真与真实世界的四项操作任务上,KITE 实现向结构不同目标具身的零样本迁移,覆盖平行夹爪、灵巧手与复合具身,并优于现有基线。

    arXiv cs.RO研究具身智能灵巧手运动控制

  2. 论文提出 PAKE 全身控制框架,将移动操作分解为部分参考运动生成与底层模仿控制,并引入在大规模运动学数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样化部分运动学参考。高层控制器在 KNF 潜在空间中导航以利用冗余解,底层控制器学习动态一致的运动执行。在配备六自由度机械臂的四足机器人上验证:仿真中于 4000 个目标基准上跟踪精度与可行工作空间覆盖优于基线;硬件上在 8 类移动操作任务共 24 个回合中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,线速度、角速度误差分别为 0.1 m/s 和 0.01 rad/s。

    arXiv cs.RO研究四足机器人具身智能运动控制

  3. ZeroDex提出零样本长程灵巧操作框架,将语言指令从标定多视角RGB图像接地为可执行3D任务规划,输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务,通过可复用原语库执行抓取放置与工具使用;工具使用检索物体中心原子动作并对齐6D工具轨迹,灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线,且无演示系统优于在100个任务演示上微调的VLA策略,并支持执行验证与重规划恢复中间失败。

    arXiv cs.RO研究具身智能灵巧手大模型

  4. arXiv:2606.10180v2 提出对视觉-语言-动作(VLA)模型的“流控制”方法:将键盘等通用用户输入写入VLA流匹配动作专家的初始条件,利用流的确定性在积分过程中保留用户输入信息,无需重新训练或微调即可实时引导动作。作者报告该方法能准确响应地引导机器人动作、对次优输入鲁棒、帮助用户显著提高成功率并加快任务完成,且在流控制轨迹上微调可改进自主策略。

    arXiv cs.RO研究具身智能运动控制大模型

  5. 该论文提出DEFLECT离线后训练框架,利用录制轨迹中执行时刻观测与预测时刻观测的时序对比构建偏好监督,解决异步VLA推理中动作块与执行时刻状态错配的问题。在Kinetix、LIBERO及三个真实机器人任务上测试,最长支持延迟下Kinetix成功率较VLASH提升4.2个百分点,LIBERO上较使用GR00T N1.7的朴素异步执行提升22.7个百分点。

    arXiv cs.RO研究具身智能强化学习大模型

  6. Kamino 是一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向异构、强耦合机械系统的大规模并行仿真。它原生支持运动学闭环,无需把系统拓扑近似为运动学树再加闭环约束或 mimic 关节;核心是基于 ADMM 的约束优化算法,将约束刚体多体正向动力学转写为非线性互补问题求解约束力,从而在不简化或凸化接触模型的情况下解析接触动力学。作者在含六个嵌套运动学闭环的双足机器人上训练强化学习策略,单块 GPU 并行仿真 4,096 个环境,得到可行行走策略。

    arXiv cs.RO研究人形机器人运动控制强化学习

  7. 英伟达PAR实验室提出JCA模型,为任意骨架同时生成视频与可回放的3D运动,并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中,通过少量交叉注意力层连接预训练视频模型,使运动模型可先用纯运动数据学习;模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建,结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线,并支持视频与骨架运动互转及关键帧控制。

    arXiv cs.RO研究仿真与数字孪生大模型多模态

  8. 论文提出 CoGaussian,一个基于开放词汇高斯表示的协同语义占据预测框架,将场景表示为一组与基础模型对齐的稀疏三维高斯,作为多智能体之间通信与融合几何、语义信息的紧凑表示。该方法针对现有协同语义占据方法依赖稠密三维体素标注、且只能识别预定义语义类别的问题。在 Semantic-OPV2V 基准上,CoGaussian 优于现有的开放词汇单智能体方法。

    arXiv cs.RO研究大模型多模态自动驾驶

  9. 论文提出 CLOSER 框架,将目标物体导航中的停止决策建模为闭环证据获取:微调开源视觉语言模型,对跨帧跟踪候选的每个视角标注为目标、非目标或不确定,用基于嵌入的多样性门选择互补视角,再由轻量网络融合各视角概率;若融合后仍不确定,则用扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选,直至判断明确。该框架本地运行,可直接接入现有 ObjectNav 系统而无需重新训练。在 Gibson 和 Habitat-Matterport 3D 上,平均成功率提升 3.6 个百分点,路径长度加权成功率提升 2.0 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  10. 该研究提出PanoGraphGS框架,在共享高斯几何上联合学习语义与实例特征,通过基于原型的语义学习和基于关联的实例学习实现跨视角一致的全景预测,并支持新视角全景分割与高斯级全景解码;语义感知场景图模块可恢复楼层-房间-背景物-物体的层级及包含与空间关系。团队同时发布真实世界全景场景理解数据集NaviGS,含3DGS、网格、RGB、语义与深度数据。在Replica和NaviGS上,其物体节点准确率平均超过最强基线50个百分点以上,2D全景分割亦为所评估方法中最优。

    arXiv cs.RO研究具身智能多模态数据集

  11. arXiv 发布编号 2610.27045v1 的交叉领域专著,试图为物理AI给出统一定义:在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并将其与数字AI、具身AI、信息物理系统、数字孪生区分。专著梳理多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制、多智能体协同、软硬件协同设计等方法,覆盖机器人、制造、基础设施、科学实验与自主服务应用,重点讨论sim-to-real迁移、可靠性、实时执行、评估、安全与治理,并提出从狭窄自动化走向Physical AGI的研究方向。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  12. 针对在线LiDAR-相机标定中因训练数据外参多样性不足导致的“数据集捷径”问题(网络过拟合固定标称外参、实机泛化差),研究者提出数据生成框架SynCalib:利用带深度真值的全向图像数据集,在严格外参约束下合成多模态标定数据。实验显示合成数据提升了典型学习型标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置的真实场景中验证了仅用合成数据训练模型的零样本迁移能力。数据生成代码、预训练模型与在线基准数据集将公开。

    arXiv cs.RO研究传感器自动驾驶数据集

  13. 论文提出P3L(Preference-PCA Pluralistic Learning)框架,通过PCA分解从匿名众包反馈中联合学习轨迹嵌入与偏好方向的共享基,无需标注者身份即可完成多元对齐。测试阶段可快速进行个性化奖励学习与下游策略优化。在多个具身控制任务上,P3L实现可引导的个性化对齐,能泛化到离线数据集之外的分布外新用户,RL与测试性能具竞争力,同时显著降低计算成本并支持可变的适应查询预算。

    arXiv cs.RO研究具身智能强化学习大模型

  14. 提出 AdaDex 目标条件强化学习框架,将一段数秒的单手-物体轨迹(动捕数据或从野外 RGB(D) 视频重建的 HOI)转化为可适应灵巧技能。核心方法为混合灵巧模仿:共享策略同时在两类大规模并行环境上训练,一类用稠密运动跟踪目标注入人类先验,另一类用带噪声初始状态与目标及稀疏物体成功奖励迫使技能偏离参考。所得策略可完成功能性抓取、物体重摆、带手指步态的手内重定向及抛接等动态行为,在泛化性与功能性上优于基线,并实现跨仿真器迁移与真机迁移。

    arXiv cs.RO研究具身智能灵巧手运动控制

  15. PhysCanvas 是一个状态一致的视觉-触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成主干。其一致性感知后训练使用冻结的场景、模态与状态奖励模型进行监督。在四个真实操作任务中,世界模型推演与真实成功率的任务级皮尔逊相关系数均值由 0.602 升至 0.885;在奖励引导世界模型中后训练使 π0.5 真实成功率从 59.1% 的 SFT 基线提升至 70.8%。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  16. 该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。

    arXiv cs.RO研究具身智能强化学习大模型

  17. SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  18. 论文提出 MAPLE(Mondrian-Anchored Prior for Learning-free Indoor Exploration),一种无需训练的室内探索预测方法:将蒙德里安过程改造为在线生成式先验,以当前部分地图中观测到的几何线索为条件,生成多个可能的地图假设,并在每个假设内分别评估可见性以估计前沿增益。在 KTH 平面图及多种传感器范围下的真实 SLAM 环境中,MAPLE 一致优于非预测式探索,并与基于学习的预测方法保持竞争力;其轻量过程式构建可在有限算力下运行。实验还显示,更准确的地图预测不一定带来更好的探索效果,预测的表示与使用方式同样关键。

    arXiv cs.RO研究具身智能运动控制学术论文

  19. 研究提出REACT框架,从人-人动作捕捉演示中学习可部署的人形-人交互策略,将语义接触结构作为连接演示处理、交互学习与机载控制的关键监督信号。流程包括VLM引导的接触建模与重定向、基于交互感知接触奖励的特权策略学习,再蒸馏为仅用机载自我中心深度传感的策略,并引入生成式伙伴状态建模以应对遮挡。在仿真和Unitree G1真机上测试五种接触丰富交互,语义接触建模改善演示交互保留,生成式建模在五种交互中的四种提升接触召回,真机上仅靠机载传感完成全部五种交互。

    arXiv cs.RO研究人形机器人具身智能运动控制