跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究团队发布 JRDB-AVR 基准,基于真实世界 JRDB 机器人数据,通过结构化问题生成引擎构建,要求具身智能体按时间戳和视角请求有界观察,并同时评估最终答案与支撑该答案的视觉证据。基准问题覆盖时间搜索、视角选择和面向人类的组合推理。团队同时提出参考方法 JRDB-AVR-Agent,维护显式的、基于观察的图结构世界模型并通过求解作答。实验显示当前基线答案准确率与证据准确率存在显著差距,VLM 可给出缺乏证据支持的正确答案。代码与基准已在 GitHub 开源。

    arXiv cs.RO研究具身智能多模态数据集

  2. AffordSim 将开放词汇 3D 可供性预测接入仿真轨迹生成:给定自然语言任务,合成场景、发出可供性查询并定位到物体表面、采样区域条件抓取,再用运动规划筛选可执行轨迹,同时随机化位姿、纹理、光照、噪声与背景以支持 sim-to-real。该基准含 50 个任务、五种机器人本体、500 多个刚性与铰接物体;在可供性关键任务上达到人工接触标注轨迹采集成功率的 93%,困难复合任务为 89%。用其数据训练的 VLA 策略零样本迁移到真实 Franka FR3,平均成功率 24%。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  3. arXiv 2602.16444v3 提出 RoboGene,一个面向单臂、双臂和移动机器人的智能体式操作任务生成框架,由多样性驱动采样、智能体自我反思评估任务质量、以及经人工验证的反馈记忆三部分组成。研究团队通过大规模真实世界实验采集了 1.8 万条轨迹,并提出任务可行性与多样性指标;RoboGene 在任务生成上显著优于 GPT-4o 和 Gemini 2.5 Pro,用其生成数据训练的 VLA 模型成功率更高、泛化更强。数据集已发布于 Hugging Face(X-Humanoid/RoboGene)和 ModelScope。

    arXiv cs.RO研究具身智能大模型智能体

  4. 研究团队提出自动生成机器人规划与执行故障的框架:对成功操作轨迹施加扰动,合成贴近真实分布的故障,并用视觉语言模型生成结构化逐步推理轨迹,构建出基于 RLBench 仿真器与 BridgeDataV2 真实机器人数据集的 GuardianFail-36k 故障推理数据集。基于该数据集训练的 Guardian 是面向统一规划与执行验证的多视角推理 VLM,在 RoboFail、RoboVQA 及新提出的 UR5-Fail 三个未见真实世界基准上取得最先进性能;与基于 LLM 的操作策略集成后,在仿真和真实部署中均持续提升任务成功率。代码、数据与模型已公开。

    arXiv cs.RO研究具身智能大模型多模态

  5. arXiv 10 月新投稿提出 DEX-PHD 便携式手持数据采集设备,集成灵巧机器人手、逐指连续控制与多模态记录,操作者通过关节级映射直接控制机器人手。系统同步记录本体感知信息、指尖接触数据和腕部相机视频,无缆设计支持在多种环境中采集数据。作者在需要多指协同的富接触任务上验证该设备,并将采集的示范以开环回放方式部署到实体人形机器人上,结果显示回放保留了手指运动的主要时间模式与任务相关接触。

    arXiv cs.RO研究人形机器人灵巧手多模态

  6. 研究团队提出示意图引导具身导航工作流,包含数据生成流水线与闭环框架 ScheNav。其轻量流水线将二维平面图转为导航训练环境,产出 Furnished-RPLAN 数据集,含逾 3.3 万个带家具布局及配对的导航回合与噪声可控示意图。ScheNav 用学习到的空间模块 SchemaField 融合示意图引导与累积观测,预测空间价值场并随探索更新,配合基于轨迹的训练和跨帧一致性目标。实验显示在示意图、目标椭圆和指向方向下导航成功率与路径效率提升,并对示意图扰动和缺失有容忍度。

    arXiv cs.RO研究具身智能仿真与数字孪生智能体

  7. 研究团队发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询,以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%,但在固定训练布局内目标变化时降至 16.1%;VLM 适配与机器人数据预训练提升有限,oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。

    arXiv cs.RO研究具身智能大模型多模态

  8. 研究团队发布 ContactBench 1.0 富接触操作基准,基于对日常人类操作的观察归纳出八项基本技能,用 36 个参考任务和 40 多个物体资产实例化。资产可在消费级 3D 打印机上可复现制造,每个资产配有匹配仿真模型,并支持真实与仿真环境中的受控任务变体以评估泛化。在六个任务上评估近期纯视觉与视觉-触觉策略学习方法:纯视觉策略难以感知或响应接触事件,视觉-触觉策略也未带来显著性能提升。基准将在项目页开源。

    arXiv cs.RO研究具身智能仿真与数字孪生数据集

  9. 该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  10. SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。

    arXiv cs.RO研究具身智能仿真与数字孪生开源

  11. 首尔大学研究团队提出从大规模演示数据中学习速度先验,给定任务指令、运动路径及沿途图像预测执行速度分布,取分位数作为统一时钟对演示重定时,单个先验覆盖语料库全部任务。该方法在机器人遥操作与手持演示数据上拟合,将机器人演示重定时为手持节奏后微调视觉-语言-动作策略,执行时配合实时最优控制层跟踪动作块。在120个RoboLab任务上,微调策略成功率更高、抖动最多降低一半;真实机器人叠杯耗时3.50秒,比默认策略6.02秒快1.72倍,30次试验成功29次。

    arXiv cs.RO研究具身智能运动控制大模型

  12. DexPort 是面向高自由度机器人手的手持式便携数据采集接口,采集与部署使用同一套手部硬件以消除手部本体差异,同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指运动,无需逐关节控制。研究团队在 4 项任务(多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描)中于实验室与野外采集超过 2,500 条演示,用行为克隆直接训练视觉运动策略。结果显示,使用记录的机器人指令替代状态使成功率从 11% 提升至 64%,使用野外数据使任务成功率从 36% 提升至 78%。

    arXiv cs.RO研究具身智能灵巧手强化学习

  13. 研究团队发布 CoCarry 数据集,含 220 条同步双人协同搬运序列,覆盖 21 种任务方案、5 种共享物体几何、4 种地形,总时长约 61 分钟。配套提出接触-支撑结构化重定向方法,围绕同一预设物体轨迹联合优化两台人形机器人,用物体局部手部锚点保持四手抓取关系。220 条序列重定向至两台 A3 人形机器人后接触保持率 0.9995,穿透时长较 GMR、OmniRetarget 分别降低 67.0% 和 71.0%,成功率 100%;在 Unitree G1 上的 CORE4D 测试接触保持率 0.9906、滑动为零,并经物理仿真与两台实体 A3 实验验证。

    arXiv cs.RO研究人形机器人运动控制仿真与数字孪生

  14. DiscoDemo 将强化学习用作下游视觉运动模仿学习的数据生成器,而非可部署控制器:训练带特权信息的潜在条件 RL 生成器,结合并行逆向课程与成功门控多样性目标,产出多个成功闭环行为,经安全过滤后导出为静态数据集。在四个操作任务上,仿真中下游成功率由最强基线的 40% 升至 62%,真实机器人上由 39% 升至 78%,成功状态覆盖更广。作者称该多样性收益对预训练流匹配 VLA 有效,并与纠错数据采集互补。

    arXiv cs.RO研究具身智能强化学习大模型

  15. 英伟达团队发布工业级机器人数据引擎 Flora,用于训练 GR00T 模型,同时提供结果奖励标签、过程奖励标签和带时间戳的说明文字三类数据标注能力。Flora 在说明文字基准 WGO-Bench 及奖励基准 RoboReward、Robometer 上取得 SOTA,内部基准与 GPT-6 Astra 相当,成本约为后者的 1/125。该引擎已在 512 块 GB300 上每天标注 20 万小时数据,并已开源,供研究者扩展自定义机器人数据集。

    arXiv cs.RO研究具身智能大模型开源

  16. arXiv 2604.24033v2 提出事件相机状态估计基准框架 EvSLAM,覆盖多种数据采集平台、极端光照场景与挑战性运动模式,并给出面向移动机器人的高速机动严格定义及新评估指标。作者指出,现有事件相机 VO/VIO 方法多局限于贴近结构的正面平行快速晃动或纯三自由度旋转假设,无法泛化到线速度与角速度均可能较大的 6-DoF 剧烈机动,且当前公开数据集存在不足。该框架对 SOTA 方法进行基准测试,用于评估事件相机方案的实际运行极限。

    arXiv cs.RO研究传感器自动驾驶数据集

  17. 该论文提出 SCOPE 框架,用于自动生成多样且可执行的 TAMP(任务与运动规划)数据集,以缓解 LLM 微调所需高质量数据稀缺的问题。SCOPE 引入多级多样性指标以最大化场景信息熵,并设计计划反馈纠错流水线,将规划器执行失败作为反馈信号回溯修正场景图中的逻辑不一致,保证物理可行性。实验显示,SCOPE 对错误场景图更鲁棒、生成数据质量更高;用其数据微调的 TAMP 模型成功率较使用 DELTA(基于 PDDL 的先进规划器)生成数据微调的模型绝对提升 12.33%。

    arXiv cs.RO研究具身智能运动控制大模型

  18. 论文提出三种对机器人控制进行数学抽象建模的数据生成流程,用其程序化生成的合成数据预训练 Transformer,在未接触任何真实机器人行为的情况下,于未见过的物理机器人任务上取得非平凡的零样本动作预测性能,且专用控制先验优于通用因果先验。与算力匹配的真实机器人数据基线相比,后者仅在自身训练过的数据集上占优。作者据此认为,程序化生成的数学抽象可作为昂贵具身数据采集的潜在补充。

    arXiv cs.RO研究具身智能强化学习大模型

  19. 研究提出EBV-CAN视觉-语言策略,将一张初始全局鸟瞰静态图像与实时内窥镜观测、电机状态结合,通过三个监督式语义查询在缓存图像上定位末端、下一路点和指令目标,再由残差表示预测弯曲与插入指令。配套VLCA数据集包含517次演示、7.5万动作样本、95.8万空间条目和9.3万条剩余路线记录。50个留出回合中末端坐标与路点定位准确率为97.5%和94.8%;1920次物理试验中EBV-CAN成功183/240(76.25%),而离线MAE最低的GRU-BC物理成功率仅1/240。

    arXiv cs.RO研究具身智能大模型多模态

  20. 论文提出仅用RGB-D相机的低成本自主框架TrackDeform3D,用于采集可变形物体的3D关键点数据:方法识别3D关键点并跟踪其轨迹,引入运动一致性约束生成时间平滑、几何一致的数据。在多种物体类别上与多个先进跟踪方法对比,几何与跟踪精度均有一致提升。基于该框架发布的数据集包含6个可变形物体、总计110分钟轨迹数据。

    arXiv cs.RO研究具身智能传感器数据集