机器人行业洞察
今日精选
The robotics journal行业消息
Google DeepMind 发布 Genie 4,称其为首个带原生音频的实时世界模型,可生成环境音、音乐,以及角色对用户和世界内事件作出反应的实时对话。用户可用文字改写运行中的模拟,如改变天气、移动镜头、添加人物,Gemini 负责把编辑适配进场景并保持连贯。Gemini 3.8 Flash 在循环中充当导演,拆解目标并检查帧;Gemini 4 Argon 借此模拟了 Apptronik 的 Apollo 人形机器人下跳棋。访问先从可信测试者开始,之后开放给 Google AI Ultra 订阅者和早期 Gemini API 合作伙伴。
香港大学提出EgoWild2Dex,用538.9小时未经脚本编排的野外人类第一人称视频训练双手灵巧操作策略,每个下游任务仅需不足1小时真实机器人数据。方法包含轻量可微几何变换模块GeoFormer(无需精确标定与3D重投影,比传统Project+Inpaint流程快21.9倍)和动作重定向加逆运动学,将人类第一人称、手套演示与真机演示映射到统一机器人动作空间,训练分开放集预训练、任务适配、真机精调三阶段。真机上三个长程双手任务平均成功率96.7%,可应对外界干扰,未见物体拆箱任务零样本泛化33.3%。
Manifold AI 提出 WorldScape R²SI 框架,由内层 Robot Agent 按任务专用技能执行动作,外层 Recursion Agent 审查执行记录、修订技能,并在任务用到反应式动作模型时重新训练该模型,更新须通过测试才发布。来源报告称其在 RoboDojo Agent Track 排名第一,领先 GPT-6 Astra 与 GR00T-N1.7。push_T 示例中,技能修订把最初超预算的 723 步尝试降到成功的 596 步,同一布局再降至 389 步;冻结技能后三个随机布局分别用 222、312、256 步完成,均在 600 步预算内。
Luxonis 发布 OAK 4 FFC,这是 OAK 4 平台上的首款 OAK 模块化板卡,最多可接 5 个摄像头并自由布置在机器人需要观察的位置。板卡尺寸 70×53 毫米,集成同步、标定、立体深度与 AI 运算,算力 52 TOPS;用户在 OAK Viewer 中输入相机位置后,动态标定可基于场景自动优化,无需打印标定靶,所有相机同时曝光,全景与鸟瞰拼接在板端完成。该板卡可作为机器人主计算机或专用视觉系统,面向人形机器人、无人机等标准相机难以适配的机型。开发者套件售价 849 美元,当日开启预订,11 月发货。
Crunchbase数据显示,第三季度机器人初创企业融资额同比增长185%,美国和中国在物理AI(具身智能)领域的推进中处于领先地位。
GXO Logistics与Agility Robotics宣布扩大Digit人形机器人在美国站点的部署范围,此前双方已在部分物流设施开展试点。
GE-Act 2.0 是一个世界-动作模型,其生成组件与动作组件全部在操作数据上从零初始化,未继承预训练视频生成器。模型由面向控制的自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成,先分别在互补数据上预训练,再用知识对齐的选择性优化 KASO 联合训练。在 20 个技能组共 100 个任务上直接评估预训练检查点、不做逐任务微调;联合训练数据从 300 小时扩至 30,000 小时,G1-OP 成功率由 17.1% 升至 44.1%,G2-90D 由 13.4% 升至 31.1%,后者数据占比不足 2% 仍提升 17.7 个百分点,提示跨具身迁移。
研究团队在Idealworks的iw.hub差速驱动机器人与全向人形移动平台(HMP)上,测试NVIDIA X-Mobility与COMPASS学习型导航工作流的sim-to-real可靠性,并构建Idealworks研发中心数字孪生。在数字孪生中微调X-Mobility并加入NVIDIA Cosmos生成的sim-to-real增强数据后,策略部署于iw.hub板载Jetson AGX Xavier,在真实研发中心四个场景的成功率由65.3%升至91.7%,加权行驶时间较仅仿真训练近乎减半,与现有生产导航栈差距8.3个百分点,且全程板载运行;配合全局规划器可在每次试验中到达远处被遮挡目标。
研究团队提出世界动作模型 VPP2,通过整理大规模多样化操作视频数据集,对基础视频模型进行事件级继续预训练,并将其蒸馏为固定预测时域的单步视觉规划器,再以混合 Transformer(MoT)架构接入动作模块学习隐式逆动力学。实验显示,VPP2-14B 在开放式任务视频预测指令遵循成功率上比 Cosmos3-64B 高 11.0 个百分点;在真实世界零样本 ALOHA 操作任务上比最强基线高 18.5 个百分点;经基准特定后训练后,在 LIBERO-Pro、LIBERO-OOD 与 RoboDojo 上取得所评估方法中的最高成功率。
研究团队提出 IG-VLA 视觉-语言-动作推理框架,其潜在时空推理直接在视觉表征空间想象与任务相关的未来场景演化以指导动作预测,避免像素级视频生成;场景要旨记忆把推理得到的场景-行为关联压缩为场景要旨 token,使推理阶段无需显式未来想象。在 LIBERO、LIBERO-Plus、VLABench 上测试,LIBERO-Plus 语言套件中推理策略与要旨策略成功率均比最强基线高近 6%;要旨策略在单块 NVIDIA A6000 上实现最高 6.38 倍加速,每动作块推理延迟从 1081ms 降至 169.5ms。
研究团队发布 JRDB-AVR 基准,基于真实世界 JRDB 机器人数据,通过结构化问题生成引擎构建,要求具身智能体按时间戳和视角请求有界观察,并同时评估最终答案与支撑该答案的视觉证据。基准问题覆盖时间搜索、视角选择和面向人类的组合推理。团队同时提出参考方法 JRDB-AVR-Agent,维护显式的、基于观察的图结构世界模型并通过求解作答。实验显示当前基线答案准确率与证据准确率存在显著差距,VLM 可给出缺乏证据支持的正确答案。代码与基准已在 GitHub 开源。
arXiv 2605.29864v2 提出未来经验条件化(FEC)接口,将闭环策略条件化于短未来视频的潜在表示。未来片段分三阶段生成:LLM推理器在任务本体上推理、无机器人数字孪生推演物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。在RoboCasa和CALVIN上以BC与BC+RL实例化,对比NoFuture、GTFuture、GenFuture、WrongFuture四种条件及SFP基线:生成未来优于无未来条件,不匹配未来则降低性能,BC+RL整体最强;8个CALVIN任务上GTFuture提升最快,GenFuture早于且高于NoFuture,WrongFuture全程为零。
该研究构建了一套面向农业抓取与采摘的仿真到真实机器人学习框架:基于MuJoCo搭建包含多种番茄植株结构的农业仿真环境,通过手柄遥操作采集专家演示,并用底层控制器执行机器人动作。研究将Octo与π0.5两个预训练通用机器人策略在仿真演示上适配,随后在实体Franka Research 3机械臂上用真实机器人演示进一步微调,并在分布内、视角/空间偏移和分布外条件下评估,同时考察本体感知信息对策略性能的影响。结果显示π0.5的任务表现得分高于Octo,且在分布偏移下性能退化更小。
研究提出 LAW 闭环框架,用混合专家视觉语言模型规划子任务并异步评估执行状态,融合世界-动作模型生成的动作,WAM 内部以 Mixture-of-Transformer Experts 做联合视频-动作建模,双流分层视觉记忆维护时序上下文。在 50 个 RoboTwin 任务上平均成功率 94.21%,将 WAM 主干换成 OpenWAM-α 后升至 95.56%,称创 RoboTwin 开源最优;2B 参数 VLM 优于 Embodied-R1.5 与 GPT-5.5 High 变体。三个长程真机任务平均成功率 65%,对比 π0.5 的 28.33% 与 Fast-WAM 的 25%。
研究团队提出 CLARO,一个由视觉语言模型(VLM)驱动的智能体,负责编排开放词汇目标检测、分割、6 自由度抓取和非抓取式推动等技能,用于在杂乱环境中定位并取出语言指定的目标。系统维护过往动作记忆以支持长时程执行,输出抓取位姿或 3D 路点,无需任务特定训练即可跨机械臂迁移。在动态仿真环境与标准图像基准上,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;部署到真实机械臂后成功率为 88.8%,展示了仿真到现实的泛化能力。

