SceneRig 是一个智能体系统,可将单张图像转化为可编辑、可直接用于仿真的三维场景。它结合几何、视觉和物理工具重建三维场景,再由智能体在物理仿真器内执行编辑-验证循环,以实现物理稳定性。在多样化输入下,该系统改进了实例分割、以物体为中心的外观和三维放置,同时保持场景物理稳定;其场景比基线方法更准确地预测真实机器人策略结果,并更可靠地支持回放已记录的操作,而无需轨迹适配。
机器人行业洞察
今日精选
The robotics journal行业消息
SuperMimic 提出用一个可微世界模型摊销人形机器人全身运动跟踪的学习成本,该世界模型由标准刚体仿真器的转移数据拟合,并与跟踪策略在同一循环中联合训练,通过短时想象 rollout 的时间反向传播提供解析梯度。在单块 GPU 上训练 3 小时,其回报超过在 128 块 GPU 上训练 7 天的当前最优基线,GPU 小时数减少超过 1000 倍;在 129,514 个基准运动上失败 25 个,基线失败 179 个。两块 GPU 训练 9.8 小时后实现零失败,策略可迁移到实体 Unitree G1 完成多样高难度动作。
研究团队提出 FRDV 框架,将人体运动捕捉数据重定向到不同人形机器人:运动学阶段结合自定义序列二次规划求解器、实时迭代与分块并行处理,最高达每秒 9,156 帧,比 GMR 和 ProtoMotions 快约 136 倍,并在优化中加入机器人特定约束以减少地面穿透与自碰撞。对需进一步验证的动作,用接触隐式 iLQR 控制器在完整刚体动力学下检验,识别动力学不可行动作并修正脚部悬空、打滑。团队用多条现有流水线训练运动跟踪强化学习策略,比较跟踪保真度与成功率,并在宇树 G1 人形机器人上完成 sim-to-real 迁移。
该研究提出强化迭代学习控制(RILC),将迭代学习控制与强化学习并发耦合:ILC提供高质量样本,RL作为跨迭代的泛化策略,从而在无需逐轨迹单独学习的情况下实现首次试验即高性能跟踪。论文给出理论证明,表明RL分量保持ILC稳定性,并在特定条件下可渐近降低误差界。实验在欠驱动4自由度串联弹性机器人上,针对不同轨迹与建模失配进行仿真与验证。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征:预训练阶段用冻结的3D基础模型提供稠密几何特征,将其压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何过渡施加动作监督,提取强调动作相关过渡的互补运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征则沿动作生成路径引导中间特征,未来观测仅在训练时作为特权监督、推理时不需要。在LIBERO、LIBERO-Plus、SimplerEnv及真实双臂与单臂任务上,该方法一致提升下游策略,在WidowX评测上绝对提升10.4个百分点,并在多种VLA架构与WAM上验证了迁移效果,代码将发布于GitHub。
arXiv 2610.28011v1 提交了一篇研究,考察期望自由能(EFE)能否作为测试时计算控制器,决定在世界模型规划中投入多少计算。作者把目标距离与随机预测间的分歧合成一个 EFE 式目标,分别测试候选评分、停止规则和在线预测器更新。结果显示:当精英成本停滞即停止,在成功率随深度趋于平台的任务上会减少细化,平均成功率接近固定深度参考;较大权重下奖励分歧会降低冻结模型的成功率,惩罚分歧则因任务和权重而异。训练数据缺少到达目标所需区域时,在线更新可恢复部分损失;成本停滞规则在后续优化利用模型错误时会失效,因为任务成功率见顶后预测成本仍下降。
LocoPilot 在12自由度 Unitree Go2 四足机器人上实现单操作员双边遥操作与数据采集,该机器人搭载6自由度 AgileX Piper L 机械臂、RealSense D435 腕部相机与 D405 头部相机;第二台 Piper L 作为主端,配合两个手持控制器同时控制基座、机体姿态、机械臂与夹爪。从端交互力在无专用力/力矩传感器条件下估计,经无源性约束力觉通道反馈给操作员;ROS 2 流水线记录同步多模态观测与遥操作、部署共用的11维动作。作者在多个移动操作任务上评估接口,并在抓取放置示范上微调 MolmoAct2 后部署到实体机器人,无需动作重定向或额外逆运动学。
研究团队提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在模拟的“杯中取物入盒”任务中,18名新手与4名专家在三种渲染方式下共采集2200次试验:看到仅强调拇指和食指的新手从600次试验中获得441次成功示教,而看到真实手形的新手为320次。用这些示教训练扩散策略并将观测替换为手部关键点与两个物体关键点后,400步内该条件从点云策略下三种新手条件中最弱的46.3%升至关键点策略下最强的57.3%,五个随机种子均提升11.0个百分点;强调全部关键点的示教变化至多+0.7个百分点。
该研究提出一种多视角潜在动作模型(LAM),用交叉注意力融合同步多相机视角,先解析深度与遮挡,再压缩为潜在动作;潜在动作输入由冻结VLM主干、潜在专家与动作专家经序列流匹配耦合的策略。在严格跨具身设定下,双视角LAM预训练使真值6D动作可解码性较单视角提升17%,而单视角数据扩大两个数量级仍不足以完全恢复平面外运动;下游策略成功率提升+13.5%,单视角LAM为+6.2%。单一跨具身数据即可实现技能迁移,增加第二个视角优于再增加最多四个具身;在硬件上以人类手部演示迁移,850次rollout中成功率较仅动作策略提升+20%。
该论文提出 RLTrajGen-PPMPC-CBF 分层框架,用于自动驾驶车辆在环岛场景下的安全、平顺与舒适导航,以解决强化学习逐点决策与 MPC 轨迹级优化之间的结构性不匹配问题。框架采用预设性能约束(PPC)使参考轨迹与控制输出逐步稳定收敛,并通过控制屏障函数(CBF)层提供实时安全修正并反馈至 RL 过程。在 MetaDrive 仿真环境中,该方法相较最优基线将平均成功率提升 6.25%、运动病剂量值(MSDV)降低 65.87%,同时加快训练收敛。
该预印本提出以自适应通行管(ATT)为核心的姿态感知导航框架,将沿参考路径的通道宽度场与社交舒适度统一为连续信号,并通过区间速度—航向(IVH)控制把宽度映射为正面到侧步的连续姿态调度与全向速度指令。配套的以速度为条件的 AMP 策略使用经 GVHMR 重定向的正面/侧步运动数据训练,并加入 (v_x, v_y) 跟踪奖励,目标是在保持与默认机载策略可互换的同时提升姿态过渡稳定性。论文称完整方法已给出,计划在 Unitree G1 上开展评估,量化结果尚未发布,MuJoCo 仿真与真机演示视频已公开在 GitHub。
论文提出 AWLS(优势加权潜在引导),一种离线后训练方法,用于改进已冻结的单步生成式机器人操作策略,且不更新其解码器。该方法学习一个以观测为条件的残差噪声整形器,对策略的潜在噪声做残差修正,并用优势加权的动作重建目标训练;优势值经分离与尺度归一化后仅作为演示动作的监督权重,避免评论家梯度更新策略,同时保留单步推理速度。作者还提出无需 rollout 的解码器敏感度准则,用于挑选对潜在噪声扰动仍敏感的预训练检查点。在仿真与真实机器人操作任务(干净与混合质量演示)上,AWLS 优于冻结基座策略并限制相对预训练行为先验的漂移。
PLaCA 提出一种世界到动作框架,从当前多模态输入直接预测具有空间结构的 patch 级未来潜在变化,并引入 patch 级变化感知监督与未来到动作接口,将预测变化显式纳入动作生成。在 LIBERO-Long 上成功率达 79.0%,较仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度由 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。
论文指出,在成功的目标导向演示上训练的动作条件视频生成模型会忽略动作指令,原因在于训练数据的动作影响不足,并证明数据本身构成模型可表达动作影响的上界,专家演示的狭窄动作分布使该上界偏低。作者提出主动采集数据的 Action Influence Maximization(AIM)算法,在仿真导航与操作任务中与探索启发式、内在动机方法对比。在基于像素的操作任务中,AIM 是唯一持续提升可控性的方法:在 3k 条演示基础上新增 500 条主动采集回合,其末端执行器可控性即达到用 300k 条专家回合训练的世界模型水平,数据量减少 85 倍。
EmbodyHOI 在冻结的流匹配手-物交互轨迹生成器采样循环内嵌入针对特定人形本体的可微逆运动学求解器,将梯度回传以联合优化人形相对物体的位置,引导仅在推理阶段生效,因此一个在人体手部姿态上训练的生成器无需重训练即可迁移到不同人形本体。在 ARCTIC 轨迹上,针对宇树 G1 与 H1-2 两款人形机器人,该方法将重定向后的腕部误差从 8.9 cm 降至 0.6 cm,50 个随机 G1 任务成功率从 68% 升至 79%,四项任务 H1-2 套件从 62% 升至 76%。作者称事后腕部精修与等算力 best-of-N 选择虽 IK 能量更低,但训练出的策略更差。
该论文针对线性组合分数的扩散策略提出一种可直接插入的分数去相关辅助损失,动机来自投影组合理论,通过直接惩罚各组件噪声预测之间的重叠来促使因子专门化,几乎不改动架构、不增加计算开销。作者在多个基准上验证,该损失持续减少组件间可测量的重复计数、改善任务分解,并在不损害多任务性能的前提下产生行为上有意义的专门化。
作者提出具身恢复重规划环境ERR-Env,为任务进度与执行错误提供反馈,并构建覆盖正常、中间与错误状态的留出任务基准ERR-Bench。其在线强化学习方法AGT-GSPO结合回合级奖励与动作分组优势估计,训练出2B参数的具身VLM ERR-VLM。在ERR-Bench上,ERR-VLM的无错误完成严格成功率提升10.25个百分点,恢复率提升22.95个百分点;评估还显示多种VLM的任务进度与执行可靠性存在不匹配。
Isaac Lab 发布 v3.0.0 正式版,作为新项目及从 2.x 迁移的推荐基线。新版本提供跨多种物理、渲染与可视化后端的统一任务 API,支持基于 Newton 与 OV 库后端的无 Kit 执行和 Warp 原生数据通路。Newton 为 Warp 原生物理后端,含 MuJoCo-Warp、VBD、MPM 求解器路径,可支持刚体、可变形体与粒子;Isaac Sim 变为可选组件。版本适配 Isaac Sim 6.2、Python 3.12、PyTorch 2.11(CUDA 13.0)、Warp 1.17、Newton 1.6.1 与 RSL-RL 5.5.1。
研究提出在标准腹腔镜器械上安装传感器记录外科医生操作,无需机器人采集演示即可训练双臂手术策略,并在活兔上完成阑尾切除术。

