针对现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段动态调整全局-局部视角依赖的问题,作者提出阶段感知多视角路由框架 FocusVLA:从历史动作预测未来交互意图,并据此在动作生成过程中动态路由视角。在 RoboTwin 2.0 上,其平均成功率较最强基线 π0.5 提升 10.10 个百分点;真实世界评估成功率从 71.7% 升至 85.0%,相对 π0.5 提升 13.3%。其意图预测与动态路由模块可在不修改核心架构的前提下集成进现有 VLA 框架。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出双环外骨骼辅助策略:外环生成器以全身人体运动、外骨骼本体感知为主,任务描述为辅助语义线索,经去噪合成未来外骨骼轨迹,并采用三阶段训练分别优化人体运动编码器、本体感知编码器与轨迹生成器。内环从生成器采样多条未来轨迹估计均值与方差,均值作控制参考,方差作为预测可靠性不确定性度量并纳入刚度调节律,在有界集总交互输入下实现输入-状态稳定的柔顺辅助。实验显示该方法较标准基线显著降低肌肉激活水平,并较无辅助条件降低使用者代谢能耗。
论文提出 WholeBodyMem,一种面向人形机器人全身 VLA 策略的物体引导感知记忆模块,用于保留机器人执行目标动作前观察到的物体事件前史。方法用 SAM3 跟踪任务物体,按事件因果地在自适应预算内选取关键帧,动作专家通过交叉注意力结合编码外观、几何与时间的物体 token 读取。作者同时发布 HuMeGo 基准,含 6 个仿真任务与 6 个真实 Unitree G1 任务。结果显示基础策略成功率在仿真中从 29.1% 升至 72.6%,真机从 36.7% 升至 88.3%,标准 SIMPLE 任务从 70.2% 升至 86.9%。
论文提出三种对机器人控制进行数学抽象建模的数据生成流程,用其程序化生成的合成数据预训练 Transformer,在未接触任何真实机器人行为的情况下,于未见过的物理机器人任务上取得非平凡的零样本动作预测性能,且专用控制先验优于通用因果先验。与算力匹配的真实机器人数据基线相比,后者仅在自身训练过的数据集上占优。作者据此认为,程序化生成的数学抽象可作为昂贵具身数据采集的潜在补充。
研究提出多模态进度残差融合(MPRF)因果模型,利用操作指令、电磁跟踪和内窥镜视频预测柔性机器人内窥镜操作者的回退行为。在150个回合的结肠体模数据采集中,MPRF在三个随机种子下取得0.580±0.007 AUPRC,最强减少模态对照组为0.511。完整多模态历史是排序优势的主要来源,残差项相较原始融合仅带来小幅且不确定的增量。
研究比较机器人工具路由的四种策略:三种基于 ChromaDB 的语义检索方法(固定阈值、相对距离、子句感知聚合)与一个云端 1200 亿参数大模型基线。在 164 条人工标注提示(分三个复杂度级别,最高需至少三个工具)上,CDB-v3 在仅检索方法中宏平均综合得分最高,为 0.7822,大模型基线为 0.8869。大模型路由质量更高,但 CDB-v3 延迟显著更低且可本地部署、无需云连接,作者据此指出隐私敏感、连接受限与资源受限机器人系统存在质量-延迟权衡。
该论文提出腹腔镜机器人操作中的状态到视觉策略蒸馏框架:以基于特权观测的状态策略为教师,视觉策略从RGB观测与机器人本体感知信息中学习。作者在仿真环境多种手术操作任务上实验,结果显示通用RL方法训练视觉策略在该场景下具有挑战性,而所提蒸馏方法跨任务性能更一致稳定。
TRACE是一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它利用基于正负自然语言提示集的VLM置信度图,通过证据融合生成密集可通行性地图,并按先前已通行路径的迹象对地形排序;随后提取带可通行性标注的点,经百分位分箱与样条或正则化多项式拟合得到路径左右边界,作为软障碍约束纳入NMPC。真实森林环境实验显示,该框架能在杂乱、可变形、视觉模糊地形中平滑导航。
UniFlowWAM将3D场景流作为与视觉、动作并列的第三模态纳入扩散Transformer策略,每个模态设一个专家并通过联合注意力交互,在十目标角色网格下训练,使同一模型可充当策略、前向/逆向动力学及未来视觉特征或3D流预测器。仿真实验中,RoboCasa-GR1成功率由无流基座的52.1%升至56.4%,LIBERO分布内保持98.1%,LIBERO-Plus零样本达87.7%;四个真实双臂操作任务平均成功率87.0%,最强基线为68.5%。
研究提出一种软物体世界模型,用在大规模仿真软物体交互数据上训练的 Transformer 主干网络,执行生成式全状态估计和以动作为条件的动力学预测,并采取措施缓解仿真到现实的差距。模型通过在可变长度部分点云历史上进行上下文学习来推断潜在形状与材料线索,无需权重更新即可泛化到不同机器人本体、材料参数、衣物类型与形状以及操作协同模式,并与目标条件动作规划器集成进行运动合成。作者在仿真和真实世界中针对双臂衣物折叠验证该方法,报告重建保真度、预测准确性和任务成功率均有提升。
论文提出支撑感知抓取合成框架 IORA,面向低自由度耦合手在不规则物体上的固定任务。方法将手与物体局部表面区域建模为图并搜索运动学可行匹配,再细化腕部位姿与电机状态,经物理仿真推演验证抓取;可选的任务引导局部搜索在验证位姿附近调整腕部与电机状态并按任务条件选优。多物体实验显示生成多种抓取构型,抓取成功率高且抗扰动强,真实实验在烹饪场景中实现物体固定。
LocoManiLab 发布统一测试平台,覆盖数据采集与生成、策略训练、评估和物理部署。任务套件包含五个家庭场景类别下的 234 个原子与组合任务,配套 51.5 小时仿真遥操作数据。评估在共享控制器下测试十二种策略跨任务/场景划分与扰动水平的表现,并比较两种策略在五种控制器下的差异;成功率在未见任务与场景上下降,且随视觉扰动增强而普遍降低。三个仿真移动操作任务与真实设置高度匹配,三种策略在仿真与真实域中的排名相似。
该研究提出 ProTrav 概率地形表示方法:先用稀疏变分高斯过程(SVGP)从观测重建概率高程场,再通过后验函数空间采样生成空间相关的地形实现,将高程不确定性经几何特征传播至可通行性代价,从而在任意位置得到可通行性代价分布,以均值和标准差分别量化期望代价与不确定性。研究以基于矩的上置信界(UCB)定义风险项并接入 MPPI 控制器。仿真实验中,该方法在不同地形上的导航成功率超过 90%,基线低于 40%,同时减小了姿态变化;并在真实越野地形上完成了机器人验证。
论文提出 TEAR(任务证据权威路由)框架,在机器人端在线决定人类遥操作与本地自主两种控制源之间的权威分配。仲裁依据两类证据:网络状态证据决定遥操作可用性,任务语义证据判断自主执行是否仍与当前任务一致;轻量级时序仲裁器结合机器人状态与当前权威归属决定切换时机。在动态网络条件下的仿真与真实试验中,TEAR 任务成功率接近纯遥操作,遥操作仅占控制步数的 19.8%–27.4%,相比纯自主执行成功率提升 30%–40%。
研究提出EBV-CAN视觉-语言策略,将一张初始全局鸟瞰静态图像与实时内窥镜观测、电机状态结合,通过三个监督式语义查询在缓存图像上定位末端、下一路点和指令目标,再由残差表示预测弯曲与插入指令。配套VLCA数据集包含517次演示、7.5万动作样本、95.8万空间条目和9.3万条剩余路线记录。50个留出回合中末端坐标与路点定位准确率为97.5%和94.8%;1920次物理试验中EBV-CAN成功183/240(76.25%),而离线MAE最低的GRU-BC物理成功率仅1/240。
该论文提出 GlobMP(全局运动规划),将规划与引导统一为一个连续时间规划问题,用分段多项式曲线上的梯度投影方法,在代价降低与可行性恢复之间交替。作者证明:在温和假设下,从细网格起点出发,随着多项式段数增加,代价趋近全局最优,约束可满足任意容差或在稳定实例上精确满足。实验覆盖多达 200 台机器人的团队、Robotarium 测试平台多机器人规划与扩展基准、迷宫导航,以及在双臂人形机器人上引导触觉反应式策略,并报告优于强基线。
该论文面向自主机器人手术中的缝合任务,提出一条从图像到操作的流水线,在生成实时缝线重建的同时执行安全且优化的序列操作,以完成长时程任务。作者指出,可变形缝线没有固定位姿可供跟踪、有效自由度近乎无限,构型难以预测,因此需要重新估计缝线状态而非做假设;缝线操作还涉及依赖过去和当前接触点的序列动作,这些接触点必须被准确、连续地跟踪。
研究在六个流匹配 VLA 机器人策略上对比单步与多步采样,发现单步动作生成在大规模下基本与多步采样持平,多步欧拉积分在推理阶段几乎没有一致优势。该结论在模型训练充分且容量足够时成立。作者据此指出,大型 VLA 可直接从多步模型获得单步策略,无需重训练、蒸馏或额外辅助目标,即可实现低延迟部署。
该论文提出 Co^2Gen 框架,用于在无需人类遥操作的情况下自动生成多机器人协作数据,以训练去中心化 VLA 模型。框架先用去中心化协同规划方法生成以可执行函数形式表示的多机器人协作计划,再用该计划产出协作演示数据,并以去中心化方式微调 VLA 模型。实验显示,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人类遥操作协作数据微调的模型相当。
研究提出 PATH-Net,一种偏好感知的可通行性估计分层网络,用于越野遥操作,可自适应生成以操作员偏好为条件的可通行性代价地图与速度曲线。该网络通过多头共享骨干融合视觉与几何鸟瞰图特征及短期历史车辆状态,并用最大熵逆强化学习与稀疏速度监督优化速度建议;非对称特征聚合机制将推断拆分为代价分支与速度分支。在 15 名操作员、225 条遥操作轨迹上的实验中,修正 Hausdorff 距离为 0.17 米(激进偏好)和 0.15 米(保守偏好);问卷评估中 NASA-TLX 工作负荷评分从无建议时的 34.7 降至 22.2。

