arXiv 2610.35832v1 发布技术报告,在EBench上评测GPT-6-Astra作为机器人智能体核心,采用与后训练策略相同的视觉与本体感知观测协议。直接控制配置下,智能体直接生成路点命令,整体表现与后训练策略相当,短时程任务领先且跨泛化维度波动最小,但在长时程任务、桌面操作和高精度接触密集任务上落后。带策略的框架允许调用后训练VLA或WAM策略执行动作,整体成功率提升至最强对比策略水平并大幅降低token成本,但因策略调用不理想、固定指令无子目标、恢复控制时抓取被打断,仍低于各组件逐任务上限。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 TrySee,一种模块化闭环机器人任务规划流水线,将通用 VLM 推理与领域专用感知模块及成熟机器人组件结合,无需微调 VLM 或端到端演示,通过可替换感知模块与运动规划实现适配。系统包含反应式循环规划流水线、领域专用模块化视觉预处理以提供在线接地,以及动态预处理选择机制以提升可扩展性。评估覆盖 5 个差异显著领域的规划任务,含真实机器人拆解任务,并在棕地环境开展现场测试,验证在领域专用训练数据有限时集成 VLM 规划的实用性。
arXiv 2610.35604v1 提出免训练框架 RoboDoctor,在模型权重固定的前提下,把执行过程作为适应环节:反馈既指导当前动作,也为修正后续决策提供依据。框架围绕三个修正目标连接诊断、有依据的动作与持久经验,在策略与语言模型智能体之间分配控制权,由干预机制决定何时介入协助,并通过观察到的效果改进物理方法;关联经验记录保留决策理由、尝试方法、结果与复用条件。在 54 个 RoboDojo-Sim 任务条目上,五维平均分 57.10,原生成功率 49.44%,记录交互显示策略变化、选择性纠正与抓取修正。作者指出仍需对照试验分离跨回合经验的贡献。
该研究针对电子废弃物拆解中VLA策略数据采集困难的问题,提出基于3D高斯泼溅(3DGS)的数据生成流程:用3DGS重建真实工作空间,从机器人对齐位姿渲染多样化腕部相机观测,并与平滑结构化到达轨迹配对,为VLA微调提供机器人对齐的视觉-动作监督;同时为策略增加指令条件到达验证器,在物理接触前估计目标接近度并给出终止判断。在主板拆解实验中,仅用腕部相机、无外部侧视相机,基于π0.5模型,1500条生成轨迹在三个目标上实现80.0%精确到达成功率,而150条遥操作演示为58.7%,且主动人工采集时间不足10分钟。
研究团队提出 EmbodiedLab 基准,要求机器人在物理仿真实验室中「为知而行」:智能体获得目标与实验装置后自行选择流程,通过相机读取仪器,改变系统状态并观察反馈,直至发现规律或达成目标。该基准覆盖五个学科、14 个实验装置平台上的 30 个实验,每个实例重新采样系统参数,结果无法预先得知但可精确评分,且每个实验均经验证可解。团队在开发者编码智能体中评估六个前沿模型,比较原生控制、增加感知与运动规划、以及从最强智能体蒸馏操作技能三种配置;原生控制下最强智能体成功率不足一半,多数失败发生在与装置交互环节,操作技能对较弱智能体的提升大于感知与规划。基准与评估代码已在 GitHub 开源。
浙江大学具身智能团队提出 JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量级能量式适配框架:基础策略冻结,仅学习一个以观测、任务上下文和动作为条件的可微标量能量函数,可训练参数约 8 万个。该函数同时用于离散候选比较与连续动作梯度纠正或生成,训练信号来自执行反馈、专家纠正或示范偏好。在留出测试集上,MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus、CLIPort 的任务成功率分别比匹配的基础策略对照组提升 1.28、2.31、1.60、1.52、1.28 个百分点。实现将在 GitHub 开源。
RynnVLA-Latent 框架从视觉变化中学习连续、3D锚定的潜在动作,无需原生机器人控制信号,并应用于 30.1K 小时人类、机器人与仿真视频,生成 745.52M 个潜在动作描述符。所得 4B 策略在 LIBERO 上成功率 98.8%,无基准特定适配的 LIBERO-Plus 上 84.7%,VLABench 五赛道平均 51.9%,RoboTwin 2.0 双臂基准平均 88.6%;在灵巧手与移动夹爪平台的六项真实操作任务中成功率高于对比方法。
arXiv 发布 Labference 基准,用于评估机器人实验室中观察到的物理执行结果如何影响后续操作选择,以及这些选择如何转化为实际动作。其评估协议通过受控的证据变化测试依赖结果的行为适应,并分别测量操作选择、物理执行与任务完成;同时从共享检查点出发,用匹配的 Oracle 辅助续接评估哪些支持能改善后续选择。初步评估显示,被测 VLA 策略虽能成功转移物体,但存在目标选择错误;GPT 驱动的控制能正确选择,却出现执行失败和较高计算开销。
论文提出 RetroNav,一个无需训练、可自进化的导航框架,把导航、记忆积累与失败反思整合在一起。它构建统一记忆系统,将几何与语义场景知识和历史导航经验关联,并区分客观观察与依赖任务的解读。每次导航尝试后由独立评估器判断是否需要重试;若需要,Retrospection Agent 依据积累的场景知识与导航记录回溯历史决策,生成有证据支撑的重试简报以指导下一次尝试。RetroNav 在五个导航基准上取得当前最优性能,代码将在 GitHub 开源。
Zero-HLM 提出 real-to-sim-to-real 框架,用智能手机拍摄与仿真源演示生成人形机器人移动操作训练数据,无需真实机器人数据。其高斯引导的智能体式重建对齐视觉与物理场景,运动-环境协同适应用 rollout 反馈修正全身参考与交互几何,共生成 4,800 条经物理验证的演示。在三个 Unitree G1 任务上,仿真训练的 GR00T N1.7 零样本迁移平均全任务成功率为 66.7%,真实数据训练为 46.7%;泛化配置下池化成功率由 23% 升至 69%。
论文提出VISTA元智能体框架,把具身智能体的事后rollout反思改为主动自我探索:维护记录harness谱系的harness图,使元智能体可检索先前假设、复用有效机制并避免重复失败方向;每轮从保留的harness版本及其执行证据出发,在环境中自主生成新rollout、探查失败与恢复行为,据此迭代修改harness并重新评估入图。在LIBERO-Pro、RoboCasa、RoboTwin三个基准上,VISTA逐步提升任务成功率,且比静态反思更省rollout,以更少仿真器rollout取得更高成功率。
研究提出 RoboDuo 闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:智能体编写程序让全任务 VLA 尝试完整任务并检查是否完成,失败时由原子 VLA 完成剩余步骤;智能体不输出动作、只决定由哪个 VLA 执行,因此封装现有全任务 VLA 且不更新其权重。团队基于同一组 LIBERO 演示构建 LIBERO-Atomic、LIBERO-Code 和 LIBERO-Judge 用于训练。在 LIBERO 与 LIBERO-PRO 上,RoboDuo 持续提升 X-VLA 和 π0.5,长时程任务增益最大,并在真实机器人上恢复了冻结全任务 VLA 的失败 rollout。
SceneAgent是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3DGS、摄影测量、LiDAR采集、AI生成3DGS场景及4D动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节化与可变形仿真,并生成物体变体与脚本化演示以支持策略学习。在GraspClutter6D杂乱料箱场景中,所有具备可评分输出的编码智能体配置F1均超过SimFoundry,最佳60.75%对6.9%;在4DCodeBench三个动态场景上,Gemini 4 Argon平均动态IoU从0.86%升至99.09%。作者还展示了多样化仿真交互及向真实机器人的初步策略迁移。
该综述指出,人形机器人正从实验室单机平台转向共享工作空间、基础设施、任务与知识的互联集群,但现有研究大多仍把人形机器人当作独立系统。文章按通信、协调、协作、人机社会交互四项信息交换功能组织网络化人形智能研究,并用一个工厂场景串联四者,沿交互架构、交换信息、物理耦合、运行时间尺度、系统规模、具身形态六个维度梳理文献。作者将物理与仿真人形机器人的结果同其他机器人平台或无实体智能体的结果分开,理由是后者无法体现平衡、全身运动、接触等约束,同时区分本地风险与网络引入的过时信息、不安全知识传播等风险,并列出控制感知网络、以身体为中心的紧凑消息、集群级社会一致性等开放问题。
研究团队提出 OSMA-Bench 基准,用空间匹配、仅障碍物类型不同的场景集,评测家庭机器人导航中的障碍物条件安全运动适应,并提出语义敏感度指数(SSI),衡量间距及随距离变化的速度与平滑度是否遵循障碍物的谨慎度排序。对基于 VLM 和 VLA 的策略评测显示,两者均无法持续按障碍物安全性调整运动,即使给出明确安全提示;策略能按安全相关性区分障碍物,却未在运动参数或动作中体现。对基于 VLM 的策略,在识别障碍物与生成导航程序之间加入显式参数推断步骤可改善适应。
论文提出 RobotAgentBench(RAB)基准,用于在开放世界家庭环境中评估机器人智能体。该基准通过智能体辅助、人在回路的真实到仿真流程,构建 50 个含可交互物体的家庭布局,覆盖 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。评估分任务级与场景级:任务级考察任务发现、情境推理、操作、失败恢复、鲁棒性五个维度;场景级考察能力整合以满足高层用户需求。实验显示操作能力与自主性之间存在显著差距,智能体架构与递归自我改进具优势。
研究对FastWAM与OpenWAM做受控的未来视频预测损失消融,固定模型架构、初始化、机器人训练数据与训练步数。在已见任务的干净条件下,预测监督分别将成功率提升24.38和72.91个百分点;轨迹聚类显示多个粗粒度轨迹簇内成功率更高,部分簇频率变化很小,说明增益不只来自轨迹模式分布变化。但在分布偏移下增益不稳定:未见任务上的提升因模型和任务而异,两种模型在环境随机化下成功率均偏低,预测监督无一致优势。作者还将未来视频预测作为π0.5的辅助训练目标,仅训练时使用的轻量Transformer预测器把成功率从82.94%提升到89.19%。
论文提出免训练 VLA 推理加速方法 TRIAGE:通过 token 级漂移诊断判断被跳过视觉 token 应复用缓存 KV 还是剪枝,漂移低于按主干校准的阈值且缓存不过旧时复用,否则在固定重算预算内优先重算重要 token、其余剪枝。在 LIBERO 与 SimplerEnv 上平均成功率与完全重计算相差不超过 3 个百分点,Jetson AGX Orin 上预填充延迟最多降低 48%;仅重算 7% 视觉 token 时在 LIBERO-Object 上比最强基线高 24.4 个百分点。
研究提出 ARPG 方法,将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器,训练 1.3 亿参数的生成主干网络,在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能,双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示,更广泛覆盖人类操作行为可有效提升下游性能,作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。
该研究提出 ThinkLocoManip,一个面向足式移动操作长程任务的智能体框架,采用交错推理与执行范式,让智能体持续推理状态、执行动作、观察结果并调整策略。框架编排感知、导航、操作与运动四类专用工具,并明确将运动作为智能体推理与执行的工具域;同时设计跨域协调技能与关键帧思考机制,用于保留执行上下文和支持错误恢复。真实世界实验显示,其成功率为 77%,是最强“先规划后执行”基线 37.1% 的两倍以上。

