研究团队提出零真实数据智能体策略 ZAP:以预训练 27B 参数视觉语言模型为基座,经监督微调与 GRPO 在简单仿真任务上训练,训练全程不使用真实机器人数据。在真实世界任务上成功率达 96.7%,与 GPT-6 Astra 持平,高于 MolmoAct2 VLA 的 33.3%,运行速度快 3 倍、成本低 17 倍。ZAP 可泛化到训练数据中未出现的物体、目标与操作,包括试管入架并按要求换孔、双臂空中传试管、井字棋画 X 与下国际象棋;迁移到单臂 Franka 后在 RoboLab-120 上达 55.9%,领先最佳 VLA/WAM 基线 4.9 个百分点。
机器人行业洞察
今日精选
The robotics journal行业消息
arXiv 2610.35832v1 发布技术报告,在EBench上评测GPT-6-Astra作为机器人智能体核心,采用与后训练策略相同的视觉与本体感知观测协议。直接控制配置下,智能体直接生成路点命令,整体表现与后训练策略相当,短时程任务领先且跨泛化维度波动最小,但在长时程任务、桌面操作和高精度接触密集任务上落后。带策略的框架允许调用后训练VLA或WAM策略执行动作,整体成功率提升至最强对比策略水平并大幅降低token成本,但因策略调用不理想、固定指令无子目标、恢复控制时抓取被打断,仍低于各组件逐任务上限。
论文提出 TrySee,一种模块化闭环机器人任务规划流水线,将通用 VLM 推理与领域专用感知模块及成熟机器人组件结合,无需微调 VLM 或端到端演示,通过可替换感知模块与运动规划实现适配。系统包含反应式循环规划流水线、领域专用模块化视觉预处理以提供在线接地,以及动态预处理选择机制以提升可扩展性。评估覆盖 5 个差异显著领域的规划任务,含真实机器人拆解任务,并在棕地环境开展现场测试,验证在领域专用训练数据有限时集成 VLM 规划的实用性。
arXiv 2610.35604v1 提出免训练框架 RoboDoctor,在模型权重固定的前提下,把执行过程作为适应环节:反馈既指导当前动作,也为修正后续决策提供依据。框架围绕三个修正目标连接诊断、有依据的动作与持久经验,在策略与语言模型智能体之间分配控制权,由干预机制决定何时介入协助,并通过观察到的效果改进物理方法;关联经验记录保留决策理由、尝试方法、结果与复用条件。在 54 个 RoboDojo-Sim 任务条目上,五维平均分 57.10,原生成功率 49.44%,记录交互显示策略变化、选择性纠正与抓取修正。作者指出仍需对照试验分离跨回合经验的贡献。
该研究针对电子废弃物拆解中VLA策略数据采集困难的问题,提出基于3D高斯泼溅(3DGS)的数据生成流程:用3DGS重建真实工作空间,从机器人对齐位姿渲染多样化腕部相机观测,并与平滑结构化到达轨迹配对,为VLA微调提供机器人对齐的视觉-动作监督;同时为策略增加指令条件到达验证器,在物理接触前估计目标接近度并给出终止判断。在主板拆解实验中,仅用腕部相机、无外部侧视相机,基于π0.5模型,1500条生成轨迹在三个目标上实现80.0%精确到达成功率,而150条遥操作演示为58.7%,且主动人工采集时间不足10分钟。
浙江大学具身智能团队提出 JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量级能量式适配框架:基础策略冻结,仅学习一个以观测、任务上下文和动作为条件的可微标量能量函数,可训练参数约 8 万个。该函数同时用于离散候选比较与连续动作梯度纠正或生成,训练信号来自执行反馈、专家纠正或示范偏好。在留出测试集上,MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus、CLIPort 的任务成功率分别比匹配的基础策略对照组提升 1.28、2.31、1.60、1.52、1.28 个百分点。实现将在 GitHub 开源。
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作,无需原生机器人控制信号,并应用于 30.1K 小时人类、机器人与仿真视频,生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%,无基准特定适配的 LIBERO-Plus 上 84.7%,VLABench 五赛道平均 51.9%,RoboTwin 2.0 双臂基准平均 88.6%;在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。
arXiv 发布 Labference 基准,用于评估机器人实验室中观察到的物理执行结果如何影响后续操作选择,以及这些选择如何转化为实际动作。其评估协议通过受控的证据变化测试依赖结果的行为适应,并分别测量操作选择、物理执行与任务完成;同时从共享检查点出发,用匹配的 Oracle 辅助续接评估哪些支持能改善后续选择。初步评估显示,被测 VLA 策略虽能成功转移物体,但存在目标选择错误;GPT 驱动的控制能正确选择,却出现执行失败和较高计算开销。
研究提出 RoboDuo 闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成,失败时由原子 VLA 完成剩余步骤;智能体不输出动作、只决定由哪个 VLA 执行,因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上,RoboDuo 持续提升 X-VLA 和 π0.5,长时程任务增益最大,并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
研究团队提出 OSMA-Bench 基准,用空间匹配、仅障碍物类型不同的场景集,评测家庭机器人导航中的障碍物条件安全运动适应,并提出语义敏感度指数(SSI),衡量间距及随距离变化的速度与平滑度是否遵循障碍物的谨慎度排序。对基于 VLM 和 VLA 的策略评测显示,两者均无法持续按障碍物安全性调整运动,即使给出明确安全提示;策略能按安全相关性区分障碍物,却未在运动参数或动作中体现。对基于 VLM 的策略,在识别障碍物与生成导航程序之间加入显式参数推断步骤可改善适应。
论文提出 RobotAgentBench(RAB)基准,用于在开放世界家庭环境中评估机器人智能体。该基准通过智能体辅助、人在回路的真实到仿真流程,构建 50 个含可交互物体的家庭布局,覆盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。评估分任务级与场景级:任务级考察任务发现、情境推理、操作、失败恢复、鲁棒性五个维度;场景级考察能力整合以满足高层用户需求。实验显示操作能力与自主性之间存在显著差距,智能体架构与递归自我改进具优势。
研究对FastWAM与OpenWAM做受控的未来视频预测损失消融,固定模型架构、初始化、机器人训练数据与训练步数。在已见任务的干净条件下,预测监督分别将成功率提升24.38和72.91个百分点;轨迹聚类显示多个粗粒度轨迹簇内成功率更高,部分簇频率变化很小,说明增益不只来自轨迹模式分布变化。但在分布偏移下增益不稳定:未见任务上的提升因模型和任务而异,两种模型在环境随机化下成功率均偏低,预测监督无一致优势。作者还将未来视频预测作为π0.5的辅助训练目标,仅训练时使用的轻量Transformer预测器把成功率从82.94%提升到89.19%。
论文提出免训练 VLA 推理加速方法 TRIAGE:通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝,漂移低于按主干校准的阈值且缓存不过旧时复用,否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点,Jetson AGX Orin 上预填充延迟最多降低 48%;仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。
研究团队提出 HuGe 系列人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一人称人类与机器人数据上预训练,采用三种现有代表性 VLA 架构,为预训练全身控制器预测潜在运动 token 并输出手部控制信号。训练分三阶段:第一人称预训练、人形适配、下游微调;预训练时通过仿真回放构建伪本体感知状态,微调时通过重渲染修改第一人称观测中的手臂外观以缓解形态差异。HuGe 在仿真基准 HumanoidArena 上取得最先进结果;在 Unitree G1 上的真实实验显示,用视觉适配的第一人称示范增强机器人示范可显著提升抓取放置任务成功率。
X-World 框架通过固定长度 token 序列将视频扩散模型先验迁移至共享动作专家,用残差跨视角注意力分支把预训练视频骨干扩展至一至三视角并保留原自注意力路径,层对齐 Q-Former 聚合骨干特征,数据集特定模块映射原生状态/动作接口。训练分两阶段:先冻结视频骨干做仅动作预训练,再联合目标域后训练;执行时单次骨干前向提取特征并采用异步动作分块。LIBERO 上平均成功率 98.5%,其检查点在 LIBERO-Plus 上零适配达 76.5%;六个双臂真实任务每任务 20 次试验平均成功率 81.7%。消融显示移除视频适配或跨视角融合的降幅最大。
研究团队发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含覆盖 49 项活动的 3,256 个空间问题、覆盖 14 项操作任务的 1,240 个定位查询,以及 14 项操作任务和 10 项导航任务的动作评估。基线在留出配置上得分为 41.6%,但在固定训练布局内目标变化时降至 16.1%;VLM 适配与机器人数据预训练提升有限,oracle 视觉目标线索可将两项指标分别提升至 60.3% 和 38.0%。感知评估显示 VLM 问答与定位准确率、VLA 操作性能之间存在依赖策略的相关性。
研究提出 Scan2Instruction 与 PRPT-KS 两项设计:前者将一次 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航回合,替代现场遥操作采集人类演示;后者通过从重建场景直接读取的闭式帕累托效用完成策略自适应,无需学习评论家与人工标注。在五个真实环境中,二者结合使 RealNav 真实机器人成功率达 85%,基于人类演示后训练的基线为 49%;在同一建筑未扫描区域成功率为 82%,基线为 41%。
论文提出Open-World Law-to-Action(L2A)框架:视觉-语言模型为每个可动部件提议运动方式、运动规律参数及可能的锁定因素,形成带下限的先验,触觉可随时推翻。机器人用带闭式证据的贝叶斯线性回归在线识别部件运动规律,并保留“未见部件或运动锁定目标”的假设;作者证明仅靠触觉无法排除该假设,并推导出何时值得再次观察。全部实验在仿真中进行,新厨房场景下基于VLM提议的任务完成率为80%,部件全部已知时为98%;所提物理先验使需要新参数的物体成功率从353/400提升至378-383/400,二次观察使混合场景成功率从284/366提升至329/366。
论文提出EXE,一种自我中心跨具身(Egocentric Cross-Embodiment)预训练框架,从人类第一视角操作视频中学习因子化潜在动作表示,将共享的操作先验与具身特定信号分离。作者认为人手与机器人共享伸手、抓取、放置等操作基元,但运动学因具身不同而存在差异,因此需解耦人类特有运动模式以避免干扰机器人策略学习。该方法使同一预训练可同时受益于平行夹爪与灵巧手,在RoboTwin 2.0、RoboCasa GR1及真实世界操作任务上相对无预训练基线取得一致提升。
论文提出HGWM,将LLM生成的房间锚点先验与持久空间语义记忆结合,用于零样本物体导航:粗阶段以0-10分对候选朝向打视觉语义分,细阶段衡量观测物体、房间上下文与目标先验的符号兼容性,再经相位相关融合与LLM方向建议结合后选择局部动作。在HM3D v0.1上报告62.6% SR、31.5% SPL,WMNav为58.1%、31.2%;MP3D上为46.8%、17.9%,对比45.4%、17.2%;HM3D v0.2完整模型为74.4% SR、31.9% SPL。组件消融使SR下降0.9-2.3个百分点、SPL下降0.6-1.5点。作者称实现通过离线测试,但无逐回合重跑记录,评估仅限仿真。

