LocoManiLab 发布统一测试平台,覆盖数据采集与生成、策略训练、评估和物理部署。任务套件包含五个家庭场景类别下的 234 个原子与组合任务,配套 51.5 小时仿真遥操作数据。评估在共享控制器下测试十二种策略跨任务/场景划分与扰动水平的表现,并比较两种策略在五种控制器下的差异;成功率在未见任务与场景上下降,且随视觉扰动增强而普遍降低。三个仿真移动操作任务与真实设置高度匹配,三种策略在仿真与真实域中的排名相似。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 STAMP 框架,通过“机器人—人类—机器人”流程连接独立获取的人形机器人运动:先将两段运动重定向到人类骨架,由学习到的对齐模型对候选位置、朝向和过渡时长排序,再由人类运动先验在选定对齐下生成过渡,最后重定向回机器人并作为参考训练运动跟踪策略。作者在 Unitree G1 与 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实体机器人演示将独立运动连接成长时程序列。
PhysibleMDM 在推理阶段优化扩散噪声,无需重新训练运动扩散模型,即可提升生成运动的物理可行性。其约束由运动学检查(地面穿透、滑移、自碰撞)与基于锥规划逆动力学的动力学测试组成,并用 Sep-CMA-ES 求解黑盒优化问题,再以自回归方式串联片段生成长序列。在 SMPL 人形模型的 100 种运动风格上,平均地面穿透、自碰撞穿透与地面滑移分别降低 75%、92%、74%;在自定义双足机器人的 11 个序列上,每序列平均加速度重建误差中位数降低 89.5%,平均逆动力学残差中位数降低 79.5%。
研究提出Alpha框架,在仿真中对LLM驱动机器人操作按感知(传感器延迟)、驱动(抓取滑移)、运动学(不可达目标)、规划(规划器输出损坏)四类注入校准故障。在150回合配对矩阵中,Llama-3智能体成功率44.0%(33/75),确定性脚本Oracle为64.0%(48/75),McNemar p=3.01×10^-4;剔除规划器输出损坏后两者均为55.0%(33/60),不一致对数为零(p=1.00)。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口,而非认知推理缺陷,并审计了169次历史试点。
arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。
AOV-GS是一个主动3D高斯建图系统,用冻结的SAM和CLIP基础模型引导探索:粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序,使探索偏向语义信息丰富区域;场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码,支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下,语言场平均mIoU在Replica八个场景达34.6%,比仅几何主动规划高1.3个百分点;Matterport3D五个场景达23.1%,高1.8个百分点;配合CorrCLIP在Replica达35.6%,高2.0个百分点。新视角PSNR与基线相当,Replica深度L1改善。代码已开源。
研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
研究提出 SafeDojo,一种基于模型的安全强化学习框架,在交互式视频世界模型之上对视觉-语言-动作(VLA)策略做在线强化学习:ResNet 成功分类器对预测未来帧打分,轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率,两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点,零样本 Level II 与最强无模型基线相当;真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。
论文提出 OSCAR 框架,让机器人在图导航中学习按障碍物类别区分的剩余清空时间生存分布,并据此为每条被阻塞的边计算“等待多久再绕行”的耐心阈值。模型可处理绕行时尚未观察到清空而出现的右删失数据,并集成到依赖时间的图规划器中持续在线更新。仿真中每类障碍物观测少于 20 次后,到达目标时间与掌握真实分布的 oracle 相差 1% 以内,优于全部启发式基线;在大学中庭用真实移动机器人对行人、椅子、垃圾桶和管子等障碍完成 50 个导航回合,耐心阈值随经验在线调整。
论文提出 AtomicRL,一个面向 VLA 策略的强化学习后训练框架,用原子任务结构做信用分配与自适应探索:语义感知策略优化(SAPO)用语义门控阻止失败原子子任务的 TD 残差跨任务边界传播,瓶颈自适应目标探索(BATE)按各原子子任务掌握度动态调整任务采样与局部探索激励。配套 Real2Sim2Real 流水线衔接仿真在线 RL 与真机部署。在 LIBERO-LONG 上,两种 VLA 架构相对 PPO 绝对提升 3.6% 和 4.0%;CALVIN ABC-D 全任务性能最高提升 9.5%;结合真机流水线后真实任务性能平均提升 21.3%。
研究在合成基准与 CausalWorld 机器人连杆质量外推任务上检验因果世界模型的输入选择与机制计算方式。合成基准中,由配对干预导出的冻结依赖掩码把分布外平均 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器理想掩码的 0.694。CausalWorld 中训练与测试质量范围不相交,已知 PD 控制器模型使 150 步 rollout 的中位时间平均关节 R2 从 0.609 升至 0.727,十个任务种子全部改善(双侧符号检验 p=0.002);学习力矩模型在 100 步预测中中位关节 R2 为 0.755-0.768,与最强 RWM 配置的 0.752 相当。
该论文提出 ASTEROID 学生-教师监督学习框架,用于在部分可观测条件下学习测试时探索行为。学生先在部分可观测环境中采集在线策略上下文,特权专家再基于该上下文给出动作标签,学生通过蒸馏这些标签学会在不确定时搜索、在隐状态揭示后利用。在 11 个环境(含离散探索基准、机器人操作、导航、Procgen)中,固定探索预算下回报约为基线 2 倍,交互次数比强化学习基线少约 100 倍;方法还将仿真策略迁移到无视觉的真实机器人操作,成功率比标准蒸馏提升 40%。
研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。
研究在仿真宇树 G1 上以同一训练方案训练 12 个策略,改变重力、地形几何与地面接触模型(刚性或 3D RFT),并加入地球到月球微调与重力随机化。结果显示重力迁移不对称:地球训练策略在月球平坦刚性地面存活率 0.64–0.75,月球训练及微调策略无法在地球站立,已发布的通用控制器 SONIC 在月球存活率最高 0.10。崎岖地形训练把组合瓦片存活率从地球 0.53 提升到 0.98、月球 0.80 提升到 0.99;在更硬的月球土壤上土壤训练收益有限。作者称月球结果为依赖接触模型与土壤刚度的仿真预测。
该论文提出一种基于样条的机器人运动表示方法,将空间几何与时间进程统一到同一组连续变量中,联合估计一条共享的贝塞尔曲线,并允许空间与时间模型的复杂度独立调整,例如针对具体演示的相位调制。方法采用交替优化,同时估计部分演示中观测到的路径区间。仿真实验显示,该方法能精确恢复关节、通过调整模型复杂度与连续性进行细化,并提升对演示集方差的鲁棒性。作者还在机器人辅助翻身任务中用实体人体模型验证了在线重定时与同步能力。
论文提出Reading the Room(RR)方法,将尺度模糊、稀疏、语义化的VSLAM地图配准到部分建成的二维楼层平面图,用于机器人施工进度跟踪等场景。方法核心是单一可微、类别平衡的语义-几何能量函数贯穿全流程,并提供两种全局初始化:利用单个不准确用户对应关系,或用跨模态匹配网络全局估计。在三个活跃施工现场的33个序列上评测,一般无约束设置下平均绝对轨迹误差较最强基线改善4.5倍,提供锚点时改善7.6倍。
该研究提出一种多阶段强化学习方法,为月球重力下按指令点对点跳跃生成单一端到端控制策略,策略架构简单且仅依赖任务兼容的机载传感。仿真中着陆误差小于机器人自身尺寸;研究还分析了跳跃的力矩与功率需求,并测试了飞行中控制更新冻结最长1秒等极端异常下的性能退化。硬件迁移实验显示,策略可在月球重力卸载条件下完成垂直跳跃,实测力矩与功率曲线与仿真一致并处于硬件限制内。

