UniFlowWAM将3D场景流作为与视觉、动作并列的第三模态纳入扩散Transformer策略,每个模态设一个专家并通过联合注意力交互,在十目标角色网格下训练,使同一模型可充当策略、前向/逆向动力学及未来视觉特征或3D流预测器。仿真实验中,RoboCasa-GR1成功率由无流基座的52.1%升至56.4%,LIBERO分布内保持98.1%,LIBERO-Plus零样本达87.7%;四个真实双臂操作任务平均成功率87.0%,最强基线为68.5%。
机器人行业洞察
今日精选
The robotics journal行业消息
研究提出一种软物体世界模型,用在大规模仿真软物体交互数据上训练的 Transformer 主干网络,执行生成式全状态估计和以动作为条件的动力学预测,并采取措施缓解仿真到现实的差距。模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索,无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式,并与目标条件动作规划器集成进行运动合成。作者在仿真和真实世界中针对双臂衣物折叠验证该方法,报告重建保真度、预测准确性和任务成功率均有提升。
论文提出空中移动操作框架 ALMA,用上下文飞行策略从近期测量与动作中自适应,并以动作条件化的未来测量表征预测训练上下文保留飞行控制相关响应信息。为扩展自适应经验,该方法用大语言模型分析观察到的控制困难并生成新的机械臂运动结构用于后续训练。仿真中位置 RMSE 相对最强基线最多降低 24.7%;同一策略零样本迁移到真实空中机械臂,在周期性机械臂运动下悬停位置 RMSE 相对真实世界基线降低 79.6%。
研究提出EBV-CAN视觉-语言策略,将一张初始全局鸟瞰静态图像与实时内窥镜观测、电机状态结合,通过三个监督式语义查询在缓存图像上定位末端、下一路点和指令目标,再由残差表示预测弯曲与插入指令。配套VLCA数据集包含517次演示、7.5万动作样本、95.8万空间条目和9.3万条剩余路线记录。50个留出回合中末端坐标与路点定位准确率为97.5%和94.8%;1920次物理试验中EBV-CAN成功183/240(76.25%),而离线MAE最低的GRU-BC物理成功率仅1/240。
研究在六个流匹配 VLA 机器人策略上对比单步与多步采样,发现单步动作生成在大规模下基本与多步采样持平,多步欧拉积分在推理阶段几乎没有一致优势。该结论在模型训练充分且容量足够时成立。作者据此指出,大型 VLA 可直接从多步模型获得单步策略,无需重训练、蒸馏或额外辅助目标,即可实现低延迟部署。
该论文提出 Co^2Gen 框架,用于在无需人类遥操作的情况下自动生成多机器人协作数据,以训练去中心化 VLA 模型。框架先用去中心化协同规划方法生成以可执行函数形式表示的多机器人协作计划,再用该计划产出协作演示数据,并以去中心化方式微调 VLA 模型。实验显示,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人类遥操作协作数据微调的模型相当。
论文提出 CARE 框架,用轻量评论家模型监测本地执行器的执行可靠性,在不可靠时把控制权升级给更强的云端模型,并在升级后保持控制直至智能体恢复,避免逐步切换;共享交接记忆跨执行器维护执行上下文与任务级进度,使模型介入时无需从头开始。在多个具身基准上,CARE 的任务成功率比最强协作基线高 6.3-18.3 个百分点,接近或超过纯云端方案,同时将动作间隔中位延迟降低 28.8-82.6%。
研究提出Alpha框架,在仿真中对LLM驱动机器人操作按感知(传感器延迟)、驱动(抓取滑移)、运动学(不可达目标)、规划(规划器输出损坏)四类注入校准故障。在150回合配对矩阵中,Llama-3智能体成功率44.0%(33/75),确定性脚本Oracle为64.0%(48/75),McNemar p=3.01×10^-4;剔除规划器输出损坏后两者均为55.0%(33/60),不一致对数为零(p=1.00)。作者据此认为性能差距全部来自提示词到JSON的序列化与验证接口,而非认知推理缺陷,并审计了169次历史试点。
该论文综述基于触觉的机器人操作研究,将其划分为力学驱动与数据驱动两条互补路径:前者通过接触力学和任务特定推理显式解读触觉信号,形成与操作相关的状态表征并影响机器人动作;后者直接从数据学习触觉表征与操作策略,涵盖模仿学习、强化学习、视觉-语言-动作模型和预测模型。文章先介绍触觉传感基础,再分别回顾两条路径的进展,最后讨论面向可扩展、可泛化、稳健的触觉使能机器人系统的开放挑战与未来机遇。
论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征为目标,同时以历史观测作为时间上下文条件。在多种真实世界操作场景中,FRED 持续优于同类 WAM,在零样本环境泛化的长时程与域外任务上提升明显;在仅有人类视频演示、无机器人训练数据的任务上成功率达 50.0%,最佳对比方法为 19.4%。
arXiv 2610.25600v2 提出向量量化世界模型(VQ-WM),将离散隐状态搜索与连续视觉反馈控制结合用于机器人长程操作规划:离散隐预测器建模向量量化隐状态转移以寻找最短路径,学习控制器通过视觉反馈依次到达规划状态并纠正偏差。方法以首达时间估计器替代欧氏距离作为准度量,使规划抽象与控制器能力对齐。在实体机器人汉诺塔任务上,仅用短时演示数据即达到100%成功率,而VLA、WAM等基础模型仅在训练数据含解轨迹时成功;在涵盖操作与运动的仿真基准上比最强世界模型高13.3至85.3个百分点。
论文发现VLA动作生成与图像/视频生成差异显著:仅将训练时间步分布偏向噪声端点,即可在LIBERO、LIBERO-Plus、LIBERO-Pro及真实机器人任务上获得强单步策略;对多种架构的开源VLA模型,用单次前向替代迭代解码,在LIBERO、CALVIN、SimplerEnv等基准上常与原多步解码相当。作者用标准Flow Matching的不可约速度损失R_v(t,c)解释:VLA在噪声端点处该损失更小,而图像生成模型多呈U形;学习到的生成映射对初始噪声的雅可比最大奇异值在动作生成中明显更小。作者认为VLA的条件-目标结构更接近图像到文本,使单步生成更易实现,代码与训练配置已开源。
研究提出 Cartender 方法,从真实驾驶记录中构建反事实分支:由视觉语言模型提出替代未来及对应选择指令,不受支持的指令作为负标签,无需模拟器。方法学习场景-语言兼容性分数调节轨迹生成,并用奖励训练的语言残差对候选重排序。在 WOD-E2E 上,3,603 个可行指令条件下最佳提案 RFS 为 8.642;8,974 个被接受提案平均 RFS 8.203,高于匹配记录轨迹的 7.906,67% 提案得分超过记录对应项。同场景配对指令成功率从 23.67% 升至 57.00%,RFS 从 6.32 升至 7.10,不可行指令执行率从 53.36% 降至 14.18%。
论文提出 PaceVLA 框架,用于解决 VLA 模型因从遥操作演示学习细粒度时间模式、需大量底层动作步而导致的执行时间效率低问题。该框架包含两个耦合组件:基于共享动作专家的模式特定动作解码器,支持多种时间粒度与预测时域;以及可量化性引导的模式选择方案和上下文条件路由器,在每个推理步判断粗粒度执行是否合适并选择执行模式。在三个多任务仿真基准和六个真实世界任务上,PaceVLA 在多种具身形态(含长时程与灵巧操作)中提升执行效率并保持任务成功率。
研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。
研究团队发布 HumanVerse 数据集,包含 500 小时开源世界人类移动操作数据,将第一人称视频与同步的身体和手部运动配对。其人类到人形机器人流程对齐相机视角与手臂外观,并离线优化运动参考和控制器输入以降低末端执行器误差。该流程在宇树 G1 上完成零样本迁移验证,无需目标任务的机器人演示。基于此训练的全身移动操作基础模型 λ₀ 在 SIMPLE 上成功率达 90.0%,真实世界移动操作任务平均成功率 62.5%。
ASPIRE 是一个在“代码即策略”范式下自主编写并迭代改进机器人控制程序的持续学习系统,由闭环执行引擎、持续扩展的技能库和进化搜索三部分组成。在扰动操作任务上较此前方法最高提升 77%,Robosuite 双臂交接任务提升 72%,长时程家庭任务最高提升 32%;未见长时程任务零样本成功率为 31%,此前方法为 4%。使用 Claude Opus 5.5 时在全部 80 个 LIBERO-Pro 任务上平均成功率 99%,代表性 Robosuite 与 BEHAVIOR-1K 任务达 100%;仿真习得技能可跨本体与 API 降低真实机器人编程量,在线交互技能使其能逐步提效解开魔方。
arXiv 2609.29166v2 提出 HarnessPAI,一个与模型和本体无关的物理AI框架,将代码作为组织底层动作原语的可执行、可进化接口:单次 rollout 内以固定程序开环执行并检查,跨 rollout 则用执行反馈修订程序、把失败蒸馏为可复用技能。该框架在桌面机械臂、家用机器人、扫地机器人和足式行走智能体上相较基线取得一致提升;收敛后的程序还能为 VLA 与 WAM 模型生成微调训练数据,用于这些模型难以自行获得成功轨迹的任务。
研究提出BAS-VLA任务语义动作校准框架,构建于冻结的基础VLA模型之上,默认采用以语义破坏为中心的校准核心,并辅以选择性证据门控的保持辅助模块,用于纠正外观变化引起的动作漂移。在四个目标物体替换任务上,变化任务成功率从2.3%提升至68.5%;在经验证的外观保持变化上,成功率从42%提升至70%,且干净性能未下降。
rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架,通过双阶段缓存利用机器人重复执行间的相似性:上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问,并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上,于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速,真实机器人成功率保持不变。

