论文提出 OASIS(在线锚点中心场景推理系统),用稀疏锚点节点表示室内环境,每个节点融合语义描述、视觉特征与几何状态,支持在线建图、开放词汇检索与导航。系统复用导航中采集的瞬时观测,在场景变化后重新定位被移动的物体,并以紧凑记忆支持按需证据提取与分层检索。在仿真与真实环境的标准检索基准及静态、动态导航任务中完成验证。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 CARE 框架,用轻量评论家模型监测本地执行器的执行可靠性,在不可靠时把控制权升级给更强的云端模型,并在升级后保持控制直至智能体恢复,避免逐步切换;共享交接记忆跨执行器维护执行上下文与任务级进度,使模型介入时无需从头开始。在多个具身基准上,CARE 的任务成功率比最强协作基线高 6.3-18.3 个百分点,接近或超过纯云端方案,同时将动作间隔中位延迟降低 28.8-82.6%。
论文提出时空重定向(STR)方法,利用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,为关键帧分配更多求解器迭代、为选定部位赋予更高交互权重,以替代统一的逐帧迭代预算。同时引入力学感知接触锚定(MCA),用近似物体力旋量模型细化物体表面接触位置。在此基础上开发时空强化学习(STRL),结合自适应关键阶段采样与基于目标接近度和接触力的奖励。在Unitree G1仿真和Unitree R1真机实验中,STR以更低计算成本提升了几何接触覆盖率与连续性,并改善了下游物体交互任务的完成度。
该研究提出一套集成传感与控制系统,可在CT孔内完成呼吸门控自主进针,无需手动置针或患者屏气。实验验证了系统跟踪与预测患者呼吸周期、执行自主呼吸门控进针以及检测呼吸周期异常的能力。研究目标是缩短CT引导肺活检的手术时间、减轻患者不适并降低辐射暴露。
研究提出Alpha框架,在仿真中对LLM驱动机器人操作按感知(传感器延迟)、驱动(抓取滑移)、运动学(不可达目标)、规划(规划器输出损坏)四类注入校准故障。在150回合配对矩阵中,Llama-3智能体成功率44.0%(33/75),确定性脚本Oracle为64.0%(48/75),McNemar p=3.01×10^-4;剔除规划器输出损坏后两者均为55.0%(33/60),不一致对数为零(p=1.00)。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口,而非认知推理缺陷,并审计了169次历史试点。
论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征为目标,同时以历史观测作为时间上下文条件。在多种真实世界操作场景中,FRED 持续优于同类 WAM,在零样本环境泛化的长时程与域外任务上提升明显;在仅有人类视频演示、无机器人训练数据的任务上成功率达 50.0%,最佳对比方法为 19.4%。
arXiv 2610.25600v2 提出向量量化世界模型(VQ-WM),将离散隐状态搜索与连续视觉反馈控制结合用于机器人长程操作规划:离散隐预测器建模向量量化隐状态转移以寻找最短路径,学习控制器通过视觉反馈依次到达规划状态并纠正偏差。方法以首达时间估计器替代欧氏距离作为准度量,使规划抽象与控制器能力对齐。在实体机器人汉诺塔任务上,仅用短时演示数据即达到100%成功率,而VLA、WAM等基础模型仅在训练数据含解轨迹时成功;在涵盖操作与运动的仿真基准上比最强世界模型高13.3至85.3个百分点。
论文提出仅用RGB-D相机的低成本自主框架TrackDeform3D,用于采集可变形物体的3D关键点数据:方法识别3D关键点并跟踪其轨迹,引入运动一致性约束生成时间平滑、几何一致的数据。在多种物体类别上与多个先进跟踪方法对比,几何与跟踪精度均有一致提升。基于该框架发布的数据集包含6个可变形物体、总计110分钟轨迹数据。
论文发现VLA动作生成与图像/视频生成差异显著:仅将训练时间步分布偏向噪声端点,即可在LIBERO、LIBERO-Plus、LIBERO-Pro及真实机器人任务上获得强单步策略;对多种架构的开源VLA模型,用单次前向替代迭代解码,在LIBERO、CALVIN、SimplerEnv等基准上常与原多步解码相当。作者用标准Flow Matching的不可约速度损失R_v(t,c)解释:VLA在噪声端点处该损失更小,而图像生成模型多呈U形;学习到的生成映射对初始噪声的雅可比最大奇异值在动作生成中明显更小。作者认为VLA的条件-目标结构更接近图像到文本,使单步生成更易实现,代码与训练配置已开源。
论文提出 PaceVLA 框架,用于解决 VLA 模型因从遥操作演示学习细粒度时间模式、需大量底层动作步而导致的执行时间效率低问题。该框架包含两个耦合组件:基于共享动作专家的模式特定动作解码器,支持多种时间粒度与预测时域;以及可量化性引导的模式选择方案和上下文条件路由器,在每个推理步判断粗粒度执行是否合适并选择执行模式。在三个多任务仿真基准和六个真实世界任务上,PaceVLA 在多种具身形态(含长时程与灵巧操作)中提升执行效率并保持任务成功率。
研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。
研究提出集体经验学习(CEL)范式:已部署机器人汇集自身执行经验,用于更新共享策略并回传车队,无需额外专家演示或纠正动作。其实现方式为失败引导的经验检索微调(FERT),并配套容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。在五个真实操作任务上,策略成功率达 93.3%–99.2%(每任务 120 次试验,评估机器人未参与训练数据采集);多阶段手机包装任务中,96 台机器人将成功率从 79.2% 提升至 98.3%。
研究团队发布 HumanVerse 数据集,包含 500 小时开源世界人类移动操作数据,将第一人称视频与同步的身体和手部运动配对。其人类到人形机器人流程对齐相机视角与手臂外观,并离线优化运动参考和控制器输入以降低末端执行器误差。该流程在宇树 G1 上完成零样本迁移验证,无需目标任务的机器人演示。基于此训练的全身移动操作基础模型 λ₀ 在 SIMPLE 上成功率达 90.0%,真实世界移动操作任务平均成功率 62.5%。
arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。
研究团队发布RoboCap,一顶重250克、搭载6个摄像头和双IMU的帽子,用于在真实环境中采集第一人称操作数据,并配套推出与设备无关的3D算法套件Grounded API。报告称,硬件、标定与3D算法协同后,其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时,均在公开基准上达到当前最优性能。
研究团队提出用柔性Fin Ray夹爪的形变做视觉力预测,替代部署阶段的力/触觉传感器。方法分两步:先在校准数据上训练视觉力估计器,为任务演示标注力估计值;再在增强力的演示上训练动作—力提议策略,联合生成候选动作及其预期力。测试时采样候选动作与预测力,执行预测力最接近演示目标力的动作。在浆果采摘、空罐抓取、手内重定向和插头插入四项任务上完成评估。
ASPIRE 是一个在“代码即策略”范式下自主编写并迭代改进机器人控制程序的持续学习系统,由闭环执行引擎、持续扩展的技能库和进化搜索三部分组成。在扰动操作任务上较此前方法最高提升 77%,Robosuite 双臂交接任务提升 72%,长时程家庭任务最高提升 32%;未见长时程任务零样本成功率为 31%,此前方法为 4%。使用 Claude Opus 5.5 时在全部 80 个 LIBERO-Pro 任务上平均成功率 99%,代表性 Robosuite 与 BEHAVIOR-1K 任务达 100%;仿真习得技能可跨本体与 API 降低真实机器人编程量,在线交互技能使其能逐步提效解开魔方。
研究团队发布开源平台 PolyUMI,其轻量无线手持夹爪可同步采集腕部相机、光学触觉、接触音频与本体感觉数据,无需外接工作站;同一传感手指可转移至机器人末端执行器,保持演示采集与策略执行间的传感几何一致。配套提出 token 级多模态策略 VisTA,跨传感器与时间整合信息以预测接触感知动作。在物体推理、滑动控制与接触丰富操作实验中,触觉与音频提供了视觉之外的任务相关信息,VisTA 与现有多模态策略相比具有竞争力或更优。
arXiv 2609.29166v2 提出 HarnessPAI,一个与模型和本体无关的物理AI框架,将代码作为组织底层动作原语的可执行、可进化接口:单次 rollout 内以固定程序开环执行并检查,跨 rollout 则用执行反馈修订程序、把失败蒸馏为可复用技能。该框架在桌面机械臂、家用机器人、扫地机器人和足式行走智能体上相较基线取得一致提升;收敛后的程序还能为 VLA 与 WAM 模型生成微调训练数据,用于这些模型难以自行获得成功轨迹的任务。
研究提出BAS-VLA任务语义动作校准框架,构建于冻结的基础VLA模型之上,默认采用以语义破坏为中心的校准核心,并辅以选择性证据门控的保持辅助模块,用于纠正外观变化引起的动作漂移。在四个目标物体替换任务上,变化任务成功率从2.3%提升至68.5%;在经验证的外观保持变化上,成功率从42%提升至70%,且干净性能未下降。

