跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出 Real2Sem2Real 流水线,将一段人类演示的单目 RGB 视频转化为覆盖同类语义物体实例的数千条机器人演示。方法用 DINOv3 蒸馏的高斯泼溅跟踪物体 SE(3) 位姿,称优于现有方法和结合估计度量深度的 FoundationPose;再通过语义对齐把由少量照片生成的数字“表亲”与演示物体及其功能区域(如咖啡机托盘)匹配,并将人手映射为可延伸至这些物体的机器人抓取。演示在 IsaacSim 或 MuJoCo 中生成,约两小时可产出超 2,000 条轨迹;在两台真实机器人、四个任务上,用每任务一段人类视频训练 VLA 策略,表现达到或超过遥操作数据训练的策略。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  2. 作者指出,基于CARLA的端到端驾驶主流基准Bench2Drive,其舒适度指标改编自nuPlan,存在实现错误和奖励静止的分段方案,在八个模型上与静止时长的相关系数达r=0.97;作者提出基于距离的修正指标,将该相关性降至r=0.06,并发现原指标报告的驾驶分数与舒适度强权衡在相同行驶速度下比较时不再可检测。作者还发现评测框架的两个导航信号陷阱:默认控制器可能用指向路线目标点的角度替换模型自身转向,评测时目标点可能与训练时显著不同,并在UniAD和VAD上演示了二者影响差异明显。修复将以独立代码发布,可直接从记录轨迹获得修正后的舒适度分数,无需重跑闭环仿真。

    arXiv cs.RO研究仿真与数字孪生自动驾驶基准评测

  3. 论文提出 Gibson 虚拟环境,用于为主动智能体开发真实世界感知模型。Gibson 基于对真实空间进行虚拟化,而非使用人工设计的空间,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内部合成机制“Goggles”使训练好的模型无需进一步域适应即可部署到真实世界,并对智能体进行具身化,使其受到物理和空间约束。

    arXiv cs.RO研究具身智能传感器仿真与数字孪生

  4. arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。

    arXiv cs.RO研究运动控制仿真与数字孪生智能体

  5. 研究提出一个概念验证框架,使四足机器人的非线性动力学在设计阶段可预测,并利用重力、惯性与弹性塑造的非线性共振让多种步态自然涌现。团队研制高顺应性四足机器人eBert,用新理论工具识别出六种非线性简正模态(NNM),并在仿真与硬件上验证其存在。以黑盒优化确定步长后,仿真中每个NNM自然发展为不同速度的独特步态,且大部分可迁移到硬件。

    arXiv cs.RO研究四足机器人具身智能运动控制

  6. 论文提出 KITE 方法,将操作解耦为与具身无关的交互意图预测和具身特定的运动学解码,交互意图以接触模式为基础的学习表示连接。交互策略仅在源机器人演示数据上训练并在不同形态目标机器人间共享,运动学解码器则利用各具身运动学模型生成的合成数据学习。在仿真与真实世界的四项操作任务上,KITE 实现向结构不同目标具身的零样本迁移,覆盖平行夹爪、灵巧手与复合具身,并优于现有基线。

    arXiv cs.RO研究具身智能灵巧手运动控制

  7. Kamino 是一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向异构、强耦合机械系统的大规模并行仿真。它原生支持运动学闭环,无需把系统拓扑近似为运动学树再加闭环约束或 mimic 关节;核心是基于 ADMM 的约束优化算法,将约束刚体多体正向动力学转写为非线性互补问题求解约束力,从而在不简化或凸化接触模型的情况下解析接触动力学。作者在含六个嵌套运动学闭环的双足机器人上训练强化学习策略,单块 GPU 并行仿真 4,096 个环境,得到可行行走策略。

    arXiv cs.RO研究人形机器人运动控制强化学习

  8. 英伟达PAR实验室提出JCA模型,为任意骨架同时生成视频与可回放的3D运动,并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中,通过少量交叉注意力层连接预训练视频模型,使运动模型可先用纯运动数据学习;模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建,结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线,并支持视频与骨架运动互转及关键帧控制。

    arXiv cs.RO研究仿真与数字孪生大模型多模态

  9. arXiv 发布编号 2610.27045v1 的交叉领域专著,试图为物理AI给出统一定义:在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并将其与数字AI、具身AI、信息物理系统、数字孪生区分。专著梳理多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制、多智能体协同、软硬件协同设计等方法,覆盖机器人、制造、基础设施、科学实验与自主服务应用,重点讨论sim-to-real迁移、可靠性、实时执行、评估、安全与治理,并提出从狭窄自动化走向Physical AGI的研究方向。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  10. 提出 AdaDex 目标条件强化学习框架,将一段数秒的单手-物体轨迹(动捕数据或从野外 RGB(D) 视频重建的 HOI)转化为可适应灵巧技能。核心方法为混合灵巧模仿:共享策略同时在两类大规模并行环境上训练,一类用稠密运动跟踪目标注入人类先验,另一类用带噪声初始状态与目标及稀疏物体成功奖励迫使技能偏离参考。所得策略可完成功能性抓取、物体重摆、带手指步态的手内重定向及抛接等动态行为,在泛化性与功能性上优于基线,并实现跨仿真器迁移与真机迁移。

    arXiv cs.RO研究具身智能灵巧手运动控制

  11. PhysCanvas 是一个状态一致的视觉-触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成主干。其一致性感知后训练使用冻结的场景、模态与状态奖励模型进行监督。在四个真实操作任务中,世界模型推演与真实成功率的任务级皮尔逊相关系数均值由 0.602 升至 0.885;在奖励引导世界模型中后训练使 π0.5 真实成功率从 59.1% 的 SFT 基线提升至 70.8%。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  12. SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  13. SuperMimic 提出用一个可微世界模型摊销人形机器人全身运动跟踪的学习成本,该世界模型由标准刚体仿真器的转移数据拟合,并与跟踪策略在同一循环中联合训练,通过短时想象 rollout 的时间反向传播提供解析梯度。在单块 GPU 上训练 3 小时,其回报超过在 128 块 GPU 上训练 7 天的当前最优基线,GPU 小时数减少超过 1000 倍;在 129,514 个基准运动上失败 25 个,基线失败 179 个。两块 GPU 训练 9.8 小时后实现零失败,策略可迁移到实体 Unitree G1 完成多样高难度动作。

    arXiv cs.RO研究人形机器人运动控制强化学习

  14. 研究团队提出 FRDV 框架,将人体运动捕捉数据重定向到不同人形机器人:运动学阶段结合自定义序列二次规划求解器、实时迭代与分块并行处理,最高达每秒 9,156 帧,比 GMR 和 ProtoMotions 快约 136 倍,并在优化中加入机器人特定约束以减少地面穿透与自碰撞。对需进一步验证的动作,用接触隐式 iLQR 控制器在完整刚体动力学下检验,识别动力学不可行动作并修正脚部悬空、打滑。团队用多条现有流水线训练运动跟踪强化学习策略,比较跟踪保真度与成功率,并在宇树 G1 人形机器人上完成 sim-to-real 迁移。

    arXiv cs.RO研究人形机器人运动控制强化学习

  15. 该论文提出一种包裹机器人通信链路的算法:当机器人要用入站链路数据更新状态时,算法用 Safe Anytime-Valid Inference 检验各机器人异常检测器输出的信任值流,筛出可安全采纳的可信链路子集,仅要求检测器优于随机猜测。该封装同时给出两项统计保证:以用户选定的高概率在所有时间上均匀排除全部被攻破链路,同时快速学会信任合法链路,且无需对连通结构或被攻破链路数量作限制性假设。作者在 3 台 LoCoBot 上做神经隐式建图、8 台 GoPiGo 上做航向一致性实验,并用硬件采样的信任值仿真验证可扩展至数百台机器人集群。

    arXiv cs.RO研究运动控制仿真与数字孪生安全与伦理

  16. 研究团队提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,采用受控单因素偏移、共享底层设置的干净-扰动配对 rollout 和仿真器阶段感知诊断。在四个长时程家庭操作任务、四种扰动因素与三个校准严重度下评估 GR00T N1.5,共完成 1,040 次正式 rollout。结果显示鲁棒性响应随因素和任务差异显著,严重度提升不总带来单调退化:某相机条件下 80 个配对回合中 8 个结果改变但 ΔSR=0;相机 L2 与高斯模糊 L1 的 ΔSR 同为 0.188,第一阶段失败率却分别为 19.0% 和 36.4%。代码已开源。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  17. 该研究提出一种验证引导的训练框架,通过安全约束的概率枚举检测前向不变性违规,即学习到的证书错误地将不安全行为归类为安全的状态,从而生成比标准对抗攻击方法更精确刻画失败边界的紧凑反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书引入屏蔽机制,在 Isaac Sim 物理仿真和真实自动驾驶竞速实验中实现零安全约束违规,而标称控制器和基于 LQR 的备份策略均出现违规。

    arXiv cs.RO研究运动控制仿真与数字孪生自动驾驶

  18. 研究提出以智能体为中心、物理感知的框架,从NGSIM US-101、highD、exiD多源轨迹数据中发现跟驰法则,得到自适应均衡响应模型(AERM),将状态依赖的相对速度响应与间距依赖的均衡速度恢复相耦合。AERM具有解析的均衡速度-间距与流量-密度关系,并推导了零延迟形式的稳定性条件。在上海自然驾驶数据、NGSIM I-80和Waymo轨迹上对比七个经典跟驰模型,AERM在轨迹特定校准下间距RMSE分别降低9.11%、7.59%和21.73%,在数据集级共享参数下仍具竞争力。

    arXiv cs.RO研究仿真与数字孪生智能体自动驾驶