发布方将纽约/新泽西地区的20个真实场景扫描转化为可运行的、带物理仿真的机器人仿真环境,相关数据集已在Hugging Face上发布。标题未说明所用仿真平台、物理引擎、场景类型及数据集规模等细节。
机器人行业洞察
今日精选
The robotics journal行业消息
LimX Dynamics 推出全尺寸交互人形机器人 LimX Luna,身高 160 厘米,面向零售、娱乐、展览、博物馆及公共场所。该机器人具备自然流畅的类人运动、AI 驱动的交互与手势、视频到动作学习能力,以及安全与控制系统。
人形机器人公司 Humanoid 扩大与 NVIDIA 的合作,双方共同开发面向 Humanoid 机器人的高性能机器人边缘运行时。Humanoid 将集成 NVIDIA Jetson Thor、Isaac OS、Holoscan Sensor Bridge 与 Holoscan SDK。Humanoid 创始人兼 CEO ArtSokolov 称,通用人形机器人需要将感知、AI 与控制实时融合的算力架构,NVIDIA 平台为此提供基础。
Einsia AI 的 Navers Lab 发布 EmbodiedEvo(ArXiv 2610.18867),让编码智能体在每任务专属的 Playground 场景中自由探索,把验证有效的操作封装为带检查条件的参数化函数,并积累文本经验供后续任务复用;reset() 仅在 Playground 可用。在 RoboDojo 基准上取得 45.08 平均分、38.95% 成功率,超过所有 VLA/WAM、独立 Agent 及 Agent+VLA 方法。轨迹分析显示 Astra 等基线智能体知道抓取目标但抓取不可靠,自进化技能弥补了该差距。论文、代码与项目主页已开放。
研究提出 P³-WAM 统一世界动作模型,面向第一视角灵巧操作,包含 Perceive(从视频重建关节手部运动与相机轨迹)、Predict(按给定动作生成视觉未来)、Plan(以初始图像、语言指令和可选视觉目标为条件,联合生成动作轨迹与预期视觉后果)三种模式。模型采用混合 Transformer 架构,将结构化三维动作表示接入预训练视频扩散 Transformer,共享基础权重并设模态特定适配与双向视觉-动作注意力,随机化模态可见性使视频与三维动作可作条件或预测目标。实验称统一训练在四项数据集的三维手部重建与动作条件视频预测上优于专用基线,生成的操作视频在指令遵循与动作推进上强于视频生成基线。
研究在RoboDojo基准的六项操作任务上,于多种推理强度与服务层级设置下评估了九个前沿多模态语言模型直接控制实体机械臂的能力,称这是首次在实体硬件上对广泛前沿LM做系统性比较。结果显示当前模型能完成多种操作任务,但精度与效率不足以在实用动作预算内完成。2026年7月至10月间基准性能翻倍时间为53.9天,最佳执行速率提升4.4倍,最低执行成本下降6.2倍。
维也纳工业大学(TU Wien)团队提出零样本框架V2-STRep,将视频生成模型合成的操作视频中的运动转换为可复用机器人技能。该方法用VLM生成结构化任务表示,指定运动阶段、参考对象与约束,目标以点、点法线、轴、平面和6D位姿等最小几何结构描述;VLM给出的2D图像线索经RGB-D观测提升至3D,用于重建任务几何与候选抓取位姿。几何规则负责跨场景运动迁移,任务约束轨迹优化将抓取选择与完整运动规划耦合,并利用剩余旋转自由度适应关节限制。在六个真实操作任务上,执行成功率高于基线,技能可跨场景迁移,并可通过更新部署基础与约束适配新指令而无需重新生成视频。
研究提出用另一个编码智能体(优化器智能体)自动改进视觉界面机器人智能体的harness(提示词、工具与控制规则)。实验显示:每轮rollout数从5增至100可提升留出集成功率,小批次会过拟合;采用Champion-Challenger规则(仅在相同固定用例上胜过现任版本才采纳修订)后,LIBERO任务留出集成功率在30轮内从51%升至67%。将进化harness与预训练策略结合并用多教师在线策略蒸馏回策略,得到独立策略在RoboCasa365官方协议下达62.2%,较起点高4.8个百分点;叠加进化harness后在排行榜基准达71.2%,比最佳已发表条目高13.1个百分点。
arXiv 2609.06114v3(替换版)提出DLS方法,将VLA模型适配重新定义为“失败边界学习”,即发现、定位并塑造可恢复偏差与任务失败之间的边界。DLS以少量真实演示加仿真协同训练得到行为先验,通过在线数字孪生推演大规模发现失败边界,并用仿真器特权状态做语义进度定位,给出失败边界被跨越位置的进度感知信号,而非二值标签;这些信号在流动力学中做方向性边界塑造,强化产生成功的去噪方向、抑制产生失败的方向,无需动作似然或辅助评判器。在真实机器人操作任务上,DLS在随机初始状态与未见视觉条件下优于SFT和在线RL基线。
论文提出“最小数据自适应”范式:预训练机器人策略仅凭一次演示,随后通过自主在线交互学习新任务。作者指出,预训练策略在新任务上零样本失败,但单次演示可将其行为先验引导至粗略任务跟随。据此提出 MiDAS,将少演示行为克隆与基于冻结 VLA 表征的价值型残差学习结合,并强调数据平衡以防探索崩溃。在 LIBERO 与 RoboCasa 任务上,MiDAS 从单次演示初始化显著提升性能;在双臂 YAM 平台上,约六小时在线交互后任务成功率提升。
arXiv 发布 FluxVLA Engine(编号 2609.17210v2,替换版),定位为开放、配置驱动的 VLA 工程平台,不提出新的策略模型,而是统一数据集、视觉-语言与世界模型、动作头、奖励/优势加权学习、分布式训练、仿真评测、优化推理和机器人操作端的接口。平台集成可组合双臂仿真、自动数据生成,以及模型解耦的人在环 rollout、接管、纠错采集与奖励标注,并用实时分块(RTC)、加速推理后端、远程 GPU 服务和轨迹后处理支持真机执行。代码已在 GitHub 开源。
研究提出一个真实世界双臂灵巧抓取大尺寸物体的框架,包含采集关节角度、视觉观测与力信号的多模态数据集,基于去噪扩散概率模型(DDPM)从分割点云生成关节级抓取构型的模块,以及将运动规划与在线抓取细化结合的执行策略。该方法可从单视角输入合成可执行的双臂抓取,降低对完整三维物体模型的依赖。在双臂机器人上的实验显示,对几何形状与位姿各异的未见物体取得较高成功率,消融实验验证了各关键组件的贡献。
研究提出 ReactiveBFM 实时闭环规划-控制框架,通过按计划进行的前缀采样课程,让生成式规划器从并不完美的物理状态中学习误差恢复行为,以缓解级联方案中的累积暴露偏差;并引入异步重规划机制与轨迹分块,协调自回归规划与高频跟踪之间的延迟失配。该框架部署于宇树 G1 人形机器人,实现零样本移动目标到达;在严重扰动下的 sim-to-sim 基准测试中成功率达 93.1%,比级联开环基线高 28.6%。
Inside-JEPA 在 JEPA 潜状态内为有序实体对设置关系通道,并证明逆动力学损失在读取这些通道时无需关系标签即可 grounding 它们。在 Something-Something V2 上,仅潜预测与随机关系头相当;逆动力学监督在十个带标注框设置中提升关系 AUROC .065-.103,在 RH20T 机器人片段上提升 .081,在五个关系上提升 .050-.061。给定动作时预测关系变化 AUROC 为 .599,接近观测未来关系的 .621;一步关系目标下监督读出在 43% 情况下将正确动作排进 65 个动作的前五。
arXiv 2604.07993v3 提出 HEX,一个面向全尺寸双足人形机器人协调操作的以状态为中心的 VLA 框架。HEX 引入人形对齐的通用状态表示以支持跨异构具身学习,并用专家混合统一本体感受预测器从大规模多具身轨迹数据建模全身协调与时间运动动态;推理时用轻量历史令牌总结过去观察,避免重复编码历史图像。框架还采用残差门控融合机制与流匹配动作头,将视觉-语言线索与本体感受动态结合生成动作。真实人形操作任务实验显示,HEX 在任务成功率和泛化性上达到 SOTA,尤其在快速反应和长时程场景中。
arXiv 2603.25044v3 提出 ThermoAct 框架,在视觉-语言-动作(VLA)模型中引入热成像信息,用于人机协作场景下的机器人任务执行。系统以视觉-语言模型(VLM)作为高层规划器,将复杂自然语言指令分解为更简单的子任务,从而支持高效数据采集与复杂操作推理。与仅依赖视觉数据的方法不同,该框架让机器人感知物体物理属性并主动保障环境安全;真实任务场景实验验证了框架可行性,并显示相较现有纯视觉系统可能提升任务成功率与安全性。项目主页为 youngchae912.github.io/ThermoAct/。

