跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 论文提出积分自监督方案:用短视教师在每个短窗口独立对IMU积分,从零训练惯性里程计模型,学生虽仅受短窗口速度变化监督,却学会直接预测速度且精度超过教师;再用位姿图蒸馏以多窗口位姿图的序列一致目标精炼模型。该方法在新平台部署时无需采集真值轨迹,只需标定IMU并在正常运行中记录数据。在行人、无人机、四足和人形共六个数据集上,无速度或位置标签训练的模型平均速度误差与同架构有监督基线相差0.07 m/s以内。

    arXiv cs.RO研究人形机器人四足机器人传感器

  2. 研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。

    arXiv cs.RO研究具身智能大模型多模态

  3. 研究提出集体经验学习(CEL)范式:已部署机器人汇集自身执行经验,用于更新共享策略并回传车队,无需额外专家演示或纠正动作。其实现方式为失败引导的经验检索微调(FERT),并配套容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。在五个真实操作任务上,策略成功率达 93.3%–99.2%(每任务 120 次试验,评估机器人未参与训练数据采集);多阶段手机包装任务中,96 台机器人将成功率从 79.2% 提升至 98.3%。

    arXiv cs.RO研究具身智能运动控制强化学习

  4. arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。

    arXiv cs.RO研究具身智能仿真与数字孪生数据集

  5. 研究团队发布RoboCap,一顶重250克、搭载6个摄像头和双IMU的帽子,用于在真实环境中采集第一人称操作数据,并配套推出与设备无关的3D算法套件Grounded API。报告称,硬件、标定与3D算法协同后,其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时,均在公开基准上达到当前最优性能。

    arXiv cs.RO研究具身智能传感器数据集

  6. 研究团队提出用柔性Fin Ray夹爪的形变做视觉力预测,替代部署阶段的力/触觉传感器。方法分两步:先在校准数据上训练视觉力估计器,为任务演示标注力估计值;再在增强力的演示上训练动作—力提议策略,联合生成候选动作及其预期力。测试时采样候选动作与预测力,执行预测力最接近演示目标力的动作。在浆果采摘、空罐抓取、手内重定向和插头插入四项任务上完成评估。

    arXiv cs.RO研究具身智能灵巧手传感器

  7. ASPIRE 是一个在“代码即策略”范式下自主编写并迭代改进机器人控制程序的持续学习系统,由闭环执行引擎、持续扩展的技能库和进化搜索三部分组成。在扰动操作任务上较此前方法最高提升 77%,Robosuite 双臂交接任务提升 72%,长时程家庭任务最高提升 32%;未见长时程任务零样本成功率为 31%,此前方法为 4%。使用 Claude Opus 5.5 时在全部 80 个 LIBERO-Pro 任务上平均成功率 99%,代表性 Robosuite 与 BEHAVIOR-1K 任务达 100%;仿真习得技能可跨本体与 API 降低真实机器人编程量,在线交互技能使其能逐步提效解开魔方。

    arXiv cs.RO研究具身智能强化学习大模型

  8. 研究团队发布开源平台 PolyUMI,其轻量无线手持夹爪可同步采集腕部相机、光学触觉、接触音频与本体感觉数据,无需外接工作站;同一传感手指可转移至机器人末端执行器,保持演示采集与策略执行间的传感几何一致。配套提出 token 级多模态策略 VisTA,跨传感器与时间整合信息以预测接触感知动作。在物体推理、滑动控制与接触丰富操作实验中,触觉与音频提供了视觉之外的任务相关信息,VisTA 与现有多模态策略相比具有竞争力或更优。

    arXiv cs.RO研究具身智能传感器多模态

  9. arXiv 2609.29166v2 提出 HarnessPAI,一个与模型和本体无关的物理AI框架,将代码作为组织底层动作原语的可执行、可进化接口:单次 rollout 内以固定程序开环执行并检查,跨 rollout 则用执行反馈修订程序、把失败蒸馏为可复用技能。该框架在桌面机械臂、家用机器人、扫地机器人和足式行走智能体上相较基线取得一致提升;收敛后的程序还能为 VLA 与 WAM 模型生成微调训练数据,用于这些模型难以自行获得成功轨迹的任务。

    arXiv cs.RO研究具身智能强化学习大模型

  10. 研究提出BAS-VLA任务语义动作校准框架,构建于冻结的基础VLA模型之上,默认采用以语义破坏为中心的校准核心,并辅以选择性证据门控的保持辅助模块,用于纠正外观变化引起的动作漂移。在四个目标物体替换任务上,变化任务成功率从2.3%提升至68.5%;在经验证的外观保持变化上,成功率从42%提升至70%,且干净性能未下降。

    arXiv cs.RO研究具身智能大模型多模态

  11. rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架,通过双阶段缓存利用机器人重复执行间的相似性:上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问,并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上,于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速,真实机器人成功率保持不变。

    arXiv cs.RO研究具身智能大模型多模态

  12. 该数据集在活跃建筑工地采集,覆盖十层楼、为期八个月的施工周期,共包含 30 段 360 相机与 IMU 的视觉惯性序列,场景含可变光照、移动工人、快速运动和重复结构。真值轨迹由刚性固定在 360 相机上的 LiDAR-惯性 SLAM 系统采集。配套挑战赛中 SLAM 赛道有 62 支队伍参加,楼层平面图定位赛道仅 22 支。数据集与挑战赛信息发布于 hilti-trimble-challenge.com/dataset-2026。

    arXiv cs.RO研究传感器数据集基准评测

  13. AOV-GS是一个主动3D高斯建图系统,用冻结的SAM和CLIP基础模型引导探索:粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序,使探索偏向语义信息丰富区域;场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码,支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下,语言场平均mIoU在Replica八个场景达34.6%,比仅几何主动规划高1.3个百分点;Matterport3D五个场景达23.1%,高1.8个百分点;配合CorrCLIP在Replica达35.6%,高2.0个百分点。新视角PSNR与基线相当,Replica深度L1改善。代码已开源。

    arXiv cs.RO研究具身智能仿真与数字孪生多模态

  14. 该研究提出局部动作条件世界模型框架,用于机器人超声检查中的目标平面探头引导。方法分两阶段:先用潜在条件扩散世界模型,根据近期上下文帧、探头运动和时间偏移预测未来超声观测;再用目标条件时序Transformer预测有序探头运动,并以冻结世界模型的奖励进行微调。在自采集数据集上,世界模型在目标导向扫描中保留了依赖动作的解剖结构;真实闭环实验中,颈动脉引导成功率70.0%,甲状腺引导成功率65.0%。

    arXiv cs.RO研究具身智能传感器运动控制

  15. 论文提出 ReStruct 方法,用于在推理阶段引导已学习的机器人策略满足训练时未预见的用户偏好,无需重新训练。该方法将视觉运动策略分解为高层状态机骨架(捕获任务结构)与低层残差控制器,用自动机表示偏好并通过同步积融入骨架以重配置任务结构,控制器保持冻结,骨架动作先验随之更新。仿真与真实世界实验显示,ReStruct 可引导从以对象为中心到时序逻辑约束的多种偏好,引导后在任务成功率与偏好遵循上超过现有方法,较 VLA 模型最高提升 25%。

    arXiv cs.RO研究具身智能运动控制强化学习

  16. 研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。

    arXiv cs.RO研究具身智能仿真与数字孪生大模型

  17. 研究提出 SafeDojo,一种基于模型的安全强化学习框架,在交互式视频世界模型之上对视觉-语言-动作(VLA)策略做在线强化学习:ResNet 成功分类器对预测未来帧打分,轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率,两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点,零样本 Level II 与最强无模型基线相当;真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。

    arXiv cs.RO研究具身智能强化学习仿真与数字孪生

  18. 研究提出多分辨率触觉感知框架 MiTaS,融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器,采用模态特定卷积主干加 Transformer 融合,并以流匹配策略执行下游任务。在五个接触密集型操作任务上,MiTaS 平均成功率 80%,仅视觉基线为 35.5%,视觉-触觉基线为 55.5% 和 63%。

    arXiv cs.RO研究具身智能传感器强化学习

  19. 论文提出 OSCAR 框架,让机器人在图导航中学习按障碍物类别区分的剩余清空时间生存分布,并据此为每条被阻塞的边计算“等待多久再绕行”的耐心阈值。模型可处理绕行时尚未观察到清空而出现的右删失数据,并集成到依赖时间的图规划器中持续在线更新。仿真中每类障碍物观测少于 20 次后,到达目标时间与掌握真实分布的 oracle 相差 1% 以内,优于全部启发式基线;在大学中庭用真实移动机器人对行人、椅子、垃圾桶和管子等障碍完成 50 个导航回合,耐心阈值随经验在线调整。

    arXiv cs.RO研究具身智能运动控制仿真与数字孪生

  20. 研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型多模态