该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。
机器人行业洞察
今日精选
The robotics journal行业消息
SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
Astrobee自由飞行机器人在国际空间站完成首次在轨演示:用机器学习热启动加速轨迹优化。方法训练神经网络学习序列凸规划(SCP)求解的轨迹生成问题结构,在轨由网络预测解、SCP求解器强制安全约束。含旋转动力学的案例求解器迭代次数减少60%,障碍物取自热启动模型训练分布的案例减少50%。
研究提出一种接入ROS 2 Nav2的自然语言策略接口:本地大语言模型将操作员指令转为JSON策略,指定目的地、空间约束及时间或事件条件,确定性检查决定任务是否接受,三个代价地图适配器把接受的策略投影进现有导航栈,不改动规划器与控制器。在150条研究者编写的英文指令上,四个本地模型产出107-142条正确接受策略,规则解析器为44条,各模型错误接受3-20次;故障注入中8个端点/JSON故障与29个验证器阶段故障被拒。仿真与TurtleBot3实验中,任务1-3平均行驶时间较无策略基线在仿真降低18.4-24.5%、实体平台降低23.1-35.0%。
研究团队发布 CoCarry 数据集,含 220 条同步双人协同搬运序列,覆盖 21 种任务方案、5 种共享物体几何、4 种地形,总时长约 61 分钟。配套提出接触-支撑结构化重定向方法,围绕同一预设物体轨迹联合优化两台人形机器人,用物体局部手部锚点保持四手抓取关系。220 条序列重定向至两台 A3 人形机器人后接触保持率 0.9995,穿透时长较 GMR、OmniRetarget 分别降低 67.0% 和 71.0%,成功率 100%;在 Unitree G1 上的 CORE4D 测试接触保持率 0.9906、滑动为零,并经物理仿真与两台实体 A3 实验验证。
研究在24关节人形机器人上,用单目视频提取的五种运动训练运动跟踪策略,并在独立的CPU MuJoCo测试框架中验证。训练随机化下每个策略30次试验至少26次完成动作;加入40毫秒恒定指令延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。训练时将延迟随机化到0–50毫秒,40毫秒延迟下平均存活率升至95%(75%–100%),裕度提高到50–70毫秒;相同额外迭代但不做延迟随机化的对照组无改善,说明增益来自随机化本身。代价是跟踪精度略降(四种运动0.02–0.06弧度),最具动态性的运动对其他扰动鲁棒性下降。
DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。
研究用强化学习训练一个由20台月球小型机器人共享的策略,奖励仅为月夜结束时最冷5台机器人的平均温度,不涉及位置、间距或运动信息。结果涌现出聚集与在受庇护核心和暴露边缘间循环两种行为,与帝企鹅越冬方式相同。十次运行测得生存阈值为155.6±1.3 pcm-h(1 pcm-h=7.2 kJ),比静止抱团低37%,距物理下界13%以内;在静止抱团损失6台机器人的能量预算下全部存活。该行为无需共享空间参考和机器人间接触,可从20台迁移至40台而无需重训。
WorldMirror 提出一种智能体化的真实到仿真框架,从野外机器人演示中构建可交互数字孪生,核心是把真实到仿真构建表述为对可执行世界程序的迭代精化。编码智能体负责分解场景、规划重建步骤并编排图像与三维生成工具,通过验证反馈修正程序;以相机位姿为锚的场景表示将世界组织为静态视觉上下文、支撑几何与可编辑交互资产。在 DROID 数据集上的实验显示,该方法能重建视觉逼真、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
发布方将纽约/新泽西地区的20个真实场景扫描转化为可运行的、带物理仿真的机器人仿真环境,相关数据集已在Hugging Face上发布。标题未说明所用仿真平台、物理引擎、场景类型及数据集规模等细节。
arXiv 发布 FluxVLA Engine(编号 2609.17210v2,替换版),定位为开放、配置驱动的 VLA 工程平台,不提出新的策略模型,而是统一数据集、视觉-语言与世界模型、动作头、奖励/优势加权学习、分布式训练、仿真评测、优化推理和机器人操作端的接口。平台集成可组合双臂仿真、自动数据生成,以及模型解耦的人在环 rollout、接管、纠错采集与奖励标注,并用实时分块(RTC)、加速推理后端、远程 GPU 服务和轨迹后处理支持真机执行。代码已在 GitHub 开源。
论文提出RL-Co框架:先在真实与仿真演示混合数据上做SFT热启动,再在仿真中用强化学习微调,并加入真实数据辅助监督损失以缓解灾难性遗忘。在四个真实桌面操作任务上,用OpenVLA和π0.5两种VLA架构测试,真实世界成功率分别提升24%和20%,优于仅真实微调与基于SFT的协同训练,对未见任务变体泛化更强、真实数据效率更高。
论文提出变步长积分器 CENIC,将凸时间步进与误差控制积分结合,用于处理机器人仿真中的接触刚性动力学。作者称其运行速度达到与 MuJoCo、Drake、Isaac Sim 等离散时间仿真器相当的实时速率,同时提供精度与收敛性保证。该工作针对现有误差控制积分器在接触动力学上速度与可扩展性不足的问题。
研究团队提出 OpenTac 触觉皮肤及配套全栈生态,核心是带结构化可变形覆盖层的电阻式触觉皮肤:相邻触觉单元差分响应解码局部剪切向量,共模响应编码法向力。配套 CAD 工具可从二维轮廓、可展开三维曲面乃至文本描述(如“为9码鞋垫设计传感器”)自动生成制造文件,并提供传感器仿真器、跨传感器迁移与自适应采集。团队在多种机器人形态上设计制造了30余个传感器,用商用高精度力/力矩传感器表征三维触觉场,并在四种真实机器人上验证接触密集型反馈控制与操作策略学习;1024触觉单元皮肤每次更新采样16个单元时,自适应采集读出速度比全阵列光栅扫描快19.2倍。
研究团队在实验室中测试了 2.3 kg 六足机器人 SandBot 在 1 mm 罂粟籽颗粒床上的奔跑速度:采用交替三足步态和标准步态控制参数时,速度最多比硬地面上 2 倍体长/秒(约 60 cm/s)慢两个数量级;将控制参数从硬地面设置经验性调整后,最高速度恢复到 30 cm/s。机器人速度敏感依赖于颗粒堆积分数 φ 与肢体频率 ω,当 φ 足够小和/或 ω 足够大时,运动从旋转行走急剧转变为慢速游泳。作者据此提出基于弯曲肢体穿透与滑移特征的旋转行走运动学模型,该模型能捕捉速度对肢体频率的依赖及行走—游泳模式转变,但指出仍需更深入理解颗粒介质物理。
论文提出 DiffDreamer 可微强化学习框架,将学习到的世界模型与可微仿真器耦合:单次优化中世界模型传播捕捉外部动力学与历史特征的潜在状态,仿真器传播机器人显式物理状态;actor 目标分解为 critic 驱动的不可微任务奖励路径与仿真器驱动的可微运动奖励路径。在激进跟踪与动态穿门竞速实验中,其训练收敛优于无模型、基于模型及可微强化学习基线,最终性能也优于这些基线及经典规划控制方法,并附消融实验与概念验证性真机飞行验证。
SkeLAM 将潜在动作分解为两部分:一部分是由机器人骨架监督锚定的运动学分量,另一部分是保留互补视觉动态的残差分量;并通过跨模态交换重建,使 RGB 与骨架导出的运动学表示可以互换。世界模型通过独立条件通路纳入这两个分量,并用分支 dropout 降低对由未来信息导出的残差信息的依赖;轻量适配器将机器人动作映射到运动学空间,再经微调适配预测条件。在 DROID 上,与 DreamDojo 相比,末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%;定性结果显示,生成的 rollout 中可实现零样本的人到机器人运动迁移,策略评估的预测成功率与真机执行结果一致。
研究提出用概率能量建模统一多用途集群控制:利用吉布斯随机场能量最小化与结构化奖励最大化的对应关系,把基本集群行为编码为统一概率目标中的可复用能量项,分散式策略经轻量级策略门控组合成单一控制器,无需重新训练。空中集群实验显示,统一策略在六类任务、10-100个智能体、两种硬件平台及室内杂乱与GPS拒止林地环境中实现零样本泛化;大规模仿真任务成功率为0.96-1.00,单智能体推理延迟1-10毫秒,物理部署验证了向真实平台与非结构化环境的零样本迁移。
研究提出一种软物体世界模型,用在大规模仿真软物体交互数据上训练的 Transformer 主干网络,执行生成式全状态估计和以动作为条件的动力学预测,并采取措施缓解仿真到现实的差距。模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索,无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式,并与目标条件动作规划器集成进行运动合成。作者在仿真和真实世界中针对双臂衣物折叠验证该方法,报告重建保真度、预测准确性和任务成功率均有提升。

