研究在24关节人形机器人上,用单目视频提取的五种运动训练运动跟踪策略,并在独立的CPU MuJoCo测试框架中验证。训练随机化下每个策略30次试验至少26次完成动作;加入40毫秒恒定指令延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。训练时将延迟随机化到0–50毫秒,40毫秒延迟下平均存活率升至95%(75%–100%),裕度提高到50–70毫秒;相同额外迭代但不做延迟随机化的对照组无改善,说明增益来自随机化本身。代价是跟踪精度略降(四种运动0.02–0.06弧度),最具动态性的运动对其他扰动鲁棒性下降。
机器人行业洞察
今日精选
The robotics journal行业消息
DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。
研究用强化学习训练一个由20台月球小型机器人共享的策略,奖励仅为月夜结束时最冷5台机器人的平均温度,不涉及位置、间距或运动信息。结果涌现出聚集与在受庇护核心和暴露边缘间循环两种行为,与帝企鹅越冬方式相同。十次运行测得生存阈值为155.6±1.3 pcm-h(1 pcm-h=7.2 kJ),比静止抱团低37%,距物理下界13%以内;在静止抱团损失6台机器人的能量预算下全部存活。该行为无需共享空间参考和机器人间接触,可从20台迁移至40台而无需重训。
WorldMirror 提出一种智能体化的真实到仿真框架,从野外机器人演示中构建可交互数字孪生,核心是把真实到仿真构建表述为对可执行世界程序的迭代精化。编码智能体负责分解场景、规划重建步骤并编排图像与三维生成工具,通过验证反馈修正程序;以相机位姿为锚的场景表示将世界组织为静态视觉上下文、支撑几何与可编辑交互资产。在 DROID 数据集上的实验显示,该方法能重建视觉逼真、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
arXiv 发布 FluxVLA Engine(编号 2609.17210v2,替换版),定位为开放、配置驱动的 VLA 工程平台,不提出新的策略模型,而是统一数据集、视觉-语言与世界模型、动作头、奖励/优势加权学习、分布式训练、仿真评测、优化推理和机器人操作端的接口。平台集成可组合双臂仿真、自动数据生成,以及模型解耦的人在环 rollout、接管、纠错采集与奖励标注,并用实时分块(RTC)、加速推理后端、远程 GPU 服务和轨迹后处理支持真机执行。代码已在 GitHub 开源。
论文提出RL-Co框架:先在真实与仿真演示混合数据上做SFT热启动,再在仿真中用强化学习微调,并加入真实数据辅助监督损失以缓解灾难性遗忘。在四个真实桌面操作任务上,用OpenVLA和π0.5两种VLA架构测试,真实世界成功率分别提升24%和20%,优于仅真实微调与基于SFT的协同训练,对未见任务变体泛化更强、真实数据效率更高。
论文提出变步长积分器 CENIC,将凸时间步进与误差控制积分结合,用于处理机器人仿真中的接触刚性动力学。作者称其运行速度达到与 MuJoCo、Drake、Isaac Sim 等离散时间仿真器相当的实时速率,同时提供精度与收敛性保证。该工作针对现有误差控制积分器在接触动力学上速度与可扩展性不足的问题。
研究团队提出 OpenTac 触觉皮肤及配套全栈生态,核心是带结构化可变形覆盖层的电阻式触觉皮肤:相邻触觉单元差分响应解码局部剪切向量,共模响应编码法向力。配套 CAD 工具可从二维轮廓、可展开三维曲面乃至文本描述(如“为9码鞋垫设计传感器”)自动生成制造文件,并提供传感器仿真器、跨传感器迁移与自适应采集。团队在多种机器人形态上设计制造了30余个传感器,用商用高精度力/力矩传感器表征三维触觉场,并在四种真实机器人上验证接触密集型反馈控制与操作策略学习;1024触觉单元皮肤每次更新采样16个单元时,自适应采集读出速度比全阵列光栅扫描快19.2倍。
研究团队在实验室中测试了 2.3 kg 六足机器人 SandBot 在 1 mm 罂粟籽颗粒床上的奔跑速度:采用交替三足步态和标准步态控制参数时,速度最多比硬地面上 2 倍体长/秒(约 60 cm/s)慢两个数量级;将控制参数从硬地面设置经验性调整后,最高速度恢复到 30 cm/s。机器人速度敏感依赖于颗粒堆积分数 φ 与肢体频率 ω,当 φ 足够小和/或 ω 足够大时,运动从旋转行走急剧转变为慢速游泳。作者据此提出基于弯曲肢体穿透与滑移特征的旋转行走运动学模型,该模型能捕捉速度对肢体频率的依赖及行走—游泳模式转变,但指出仍需更深入理解颗粒介质物理。
论文提出 DiffDreamer 可微强化学习框架,将学习到的世界模型与可微仿真器耦合:单次优化中世界模型传播捕捉外部动力学与历史特征的潜在状态,仿真器传播机器人显式物理状态;actor 目标分解为 critic 驱动的不可微任务奖励路径与仿真器驱动的可微运动奖励路径。在激进跟踪与动态穿门竞速实验中,其训练收敛优于无模型、基于模型及可微强化学习基线,最终性能也优于这些基线及经典规划控制方法,并附消融实验与概念验证性真机飞行验证。
SkeLAM 将潜在动作分解为两部分:一部分是由机器人骨架监督锚定的运动学分量,另一部分是保留互补视觉动态的残差分量;并通过跨模态交换重建,使 RGB 与骨架导出的运动学表示可以互换。世界模型通过独立条件通路纳入这两个分量,并用分支 dropout 降低对由未来信息导出的残差信息的依赖;轻量适配器将机器人动作映射到运动学空间,再经微调适配预测条件。在 DROID 上,与 DreamDojo 相比,末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%;定性结果显示,生成的 rollout 中可实现零样本的人到机器人运动迁移,策略评估的预测成功率与真机执行结果一致。
研究提出用概率能量建模统一多用途集群控制:利用吉布斯随机场能量最小化与结构化奖励最大化的对应关系,把基本集群行为编码为统一概率目标中的可复用能量项,分散式策略经轻量级策略门控组合成单一控制器,无需重新训练。空中集群实验显示,统一策略在六类任务、10-100个智能体、两种硬件平台及室内杂乱与GPS拒止林地环境中实现零样本泛化;大规模仿真任务成功率为0.96-1.00,单智能体推理延迟1-10毫秒,物理部署验证了向真实平台与非结构化环境的零样本迁移。
研究提出一种软物体世界模型,用在大规模仿真软物体交互数据上训练的 Transformer 主干网络,执行生成式全状态估计和以动作为条件的动力学预测,并采取措施缓解仿真到现实的差距。模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索,无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式,并与目标条件动作规划器集成进行运动合成。作者在仿真和真实世界中针对双臂衣物折叠验证该方法,报告重建保真度、预测准确性和任务成功率均有提升。
LocoManiLab 发布统一测试平台,覆盖数据采集与生成、策略训练、评估和物理部署。任务套件包含五个家庭场景类别下的 234 个原子与组合任务,配套 51.5 小时仿真遥操作数据。评估在共享控制器下测试十二种策略跨任务/场景划分与扰动水平的表现,并比较两种策略在五种控制器下的差异;成功率在未见任务与场景上下降,且随视觉扰动增强而普遍降低。三个仿真移动操作任务与真实设置高度匹配,三种策略在仿真与真实域中的排名相似。
论文提出 STAMP 框架,通过“机器人—人类—机器人”流程连接独立获取的人形机器人运动:先将两段运动重定向到人类骨架,由学习到的对齐模型对候选位置、朝向和过渡时长排序,再由人类运动先验在选定对齐下生成过渡,最后重定向回机器人并作为参考训练运动跟踪策略。作者在 Unitree G1 与 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实体机器人演示将独立运动连接成长时程序列。
PhysibleMDM 在推理阶段优化扩散噪声,无需重新训练运动扩散模型,即可提升生成运动的物理可行性。其约束由运动学检查(地面穿透、滑移、自碰撞)与基于锥规划逆动力学的动力学测试组成,并用 Sep-CMA-ES 求解黑盒优化问题,再以自回归方式串联片段生成长序列。在 SMPL 人形模型的 100 种运动风格上,平均地面穿透、自碰撞穿透与地面滑移分别降低 75%、92%、74%;在自定义双足机器人的 11 个序列上,每序列平均加速度重建误差中位数降低 89.5%,平均逆动力学残差中位数降低 79.5%。
研究提出Alpha框架,在仿真中对LLM驱动机器人操作按感知(传感器延迟)、驱动(抓取滑移)、运动学(不可达目标)、规划(规划器输出损坏)四类注入校准故障。在150回合配对矩阵中,Llama-3智能体成功率44.0%(33/75),确定性脚本Oracle为64.0%(48/75),McNemar p=3.01×10^-4;剔除规划器输出损坏后两者均为55.0%(33/60),不一致对数为零(p=1.00)。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口,而非认知推理缺陷,并审计了169次历史试点。
arXiv 发布 WorldOracle 基准(编号 2610.18826v3),用于将动作条件世界模型(ACWM)与成对的真实世界执行进行对比:给定相同初始观测和低层动作序列,检验预测 rollout 是否复现真实物理后果与任务状态转移。评估含物理状态正确性、交互空间对齐、关键交互区域保真度、多视角动作一致性四个维度,配套覆盖不同交互动态与具身形态的真实世界训练/评估套件,情节为长时多段且包含成功与失败执行。在七个代表性 ACWM 上的实验显示各模型优势与失败模式存在差异,数据集、评估代码与排行榜已公开。
AOV-GS是一个主动3D高斯建图系统,用冻结的SAM和CLIP基础模型引导探索:粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序,使探索偏向语义信息丰富区域;场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码,支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下,语言场平均mIoU在Replica八个场景达34.6%,比仅几何主动规划高1.3个百分点;Matterport3D五个场景达23.1%,高1.8个百分点;配合CorrCLIP在Replica达35.6%,高2.0个百分点。新视角PSNR与基线相当,Replica深度L1改善。代码已开源。
研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。

