FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。
机器人行业洞察
今日精选
The robotics journal行业消息
WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型:因果短期视觉记忆把近期观测作为 DiT 预填充,长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索,检索结果增强感知与自回归规划 token 形成隐式子目标条件,语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集,含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。
ZeroDex提出零样本长程灵巧操作框架,将语言指令从标定多视角RGB图像接地为可执行3D任务规划,输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务,通过可复用原语库执行抓取放置与工具使用;工具使用检索物体中心原子动作并对齐6D工具轨迹,灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线,且无演示系统优于在100个任务演示上微调的VLA策略,并支持执行验证与重规划恢复中间失败。
arXiv:2606.10180v2 提出对视觉-语言-动作(VLA)模型的“流控制”方法:将键盘等通用用户输入写入VLA流匹配动作专家的初始条件,利用流的确定性在积分过程中保留用户输入信息,无需重新训练或微调即可实时引导动作。作者报告该方法能准确响应地引导机器人动作、对次优输入鲁棒、帮助用户显著提高成功率并加快任务完成,且在流控制轨迹上微调可改进自主策略。
该论文提出DEFLECT离线后训练框架,利用录制轨迹中执行时刻观测与预测时刻观测的时序对比构建偏好监督,解决异步VLA推理中动作块与执行时刻状态错配的问题。在Kinetix、LIBERO及三个真实机器人任务上测试,最长支持延迟下Kinetix成功率较VLASH提升4.2个百分点,LIBERO上较使用GR00T N1.7的朴素异步执行提升22.7个百分点。
英伟达PAR实验室提出JCA模型,为任意骨架同时生成视频与可回放的3D运动,并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中,通过少量交叉注意力层连接预训练视频模型,使运动模型可先用纯运动数据学习;模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建,结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线,并支持视频与骨架运动互转及关键帧控制。
论文提出 CoGaussian,一个基于开放词汇高斯表示的协同语义占据预测框架,将场景表示为一组与基础模型对齐的稀疏三维高斯,作为多智能体之间通信与融合几何、语义信息的紧凑表示。该方法针对现有协同语义占据方法依赖稠密三维体素标注、且只能识别预定义语义类别的问题。在 Semantic-OPV2V 基准上,CoGaussian 优于现有的开放词汇单智能体方法。
论文提出 CLOSER 框架,将目标物体导航中的停止决策建模为闭环证据获取:微调开源视觉语言模型,对跨帧跟踪候选的每个视角标注为目标、非目标或不确定,用基于嵌入的多样性门选择互补视角,再由轻量网络融合各视角概率;若融合后仍不确定,则用扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选,直至判断明确。该框架本地运行,可直接接入现有 ObjectNav 系统而无需重新训练。在 Gibson 和 Habitat-Matterport 3D 上,平均成功率提升 3.6 个百分点,路径长度加权成功率提升 2.0 个百分点。
arXiv 发布编号 2610.27045v1 的交叉领域专著,试图为物理AI给出统一定义:在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并将其与数字AI、具身AI、信息物理系统、数字孪生区分。专著梳理多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制、多智能体协同、软硬件协同设计等方法,覆盖机器人、制造、基础设施、科学实验与自主服务应用,重点讨论sim-to-real迁移、可靠性、实时执行、评估、安全与治理,并提出从狭窄自动化走向Physical AGI的研究方向。
论文提出P3L(Preference-PCA Pluralistic Learning)框架,通过PCA分解从匿名众包反馈中联合学习轨迹嵌入与偏好方向的共享基,无需标注者身份即可完成多元对齐。测试阶段可快速进行个性化奖励学习与下游策略优化。在多个具身控制任务上,P3L实现可引导的个性化对齐,能泛化到离线数据集之外的分布外新用户,RL与测试性能具竞争力,同时显著降低计算成本并支持可变的适应查询预算。
该研究提出 AgenticRoboRL 框架,用于跨不同机器人执行框架(harness)对机器人规划器进行后训练,训练方案结合监督微调与多轮强化学习;为适配 VLA 技能调用与生成控制代码等不同执行机制,该框架用与具体 harness 绑定的适配器把规划器交互记录与任务结果关联起来,同时保持执行组件固定。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%(不使用外部记忆),接近 Codex(GPT-5.5)配合外部记忆取得的 72.1%。作者表示将开源该框架与训练后的规划器检查点。
arXiv 2610.28431v1 提出 TaskWAM,一个闭环、阶段感知的世界-动作模型(WAM)框架,用 Mode Tokens 表征细粒度任务要求、用 State Tokens 跟踪执行进度,形成结构化任务状态以引导生成朝向预期未来,针对长时程操作中相似观测-动作片段导致的“阶段混淆”问题。作者同时提出 StageBench 多阶段操作基准,含参数化阶段变化与自动评估。实验称在仿真与真实任务上减少混淆并与 SOTA 方法性能相当,且可即插即用迁移到单臂、双臂夹爪、灵巧手与人形机器人等异构架构与本体。
论文提出 GPT-as-Tactile-Policy 方法:将专家演示总结为任务指导与触觉参考,GPT-6-Astra 结合多模态观测与交互历史生成控制指令,并依据接触反馈调整动作。在无需机器人专用预训练和逐任务微调的情况下,该方法在五个 UniVTAC 接触密集型操作任务上平均成功率为 93.8%,与现有最优策略相当,部分任务更高;Insert Hole 任务中触觉反馈将成功率从 31% 提升至 99%。执行分析显示模型能进行接触引导的试探与纠正。
研究团队提出 CAPSafe 基准,用于评估 LLM 具身智能体的安全推理,包含动作级与计划级两个数据集:前者判断单个动作在给定环境上下文中是否安全,后者评估智能体能否为复杂危险家务任务生成安全的长时程计划。该基准对危险的情境性(由物体属性推断)、多危险共存及相对严重程度进行建模。对 9 个闭源与开源 LLM 的评测显示,危险识别与安全长时程规划之间存在显著差距:多个模型识别不安全动作的准确率超过 90%,但安全长时程规划明显更难,Gemini-3-pro 安全成功率最高为 78.19%,其余模型均低于 65%。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征:预训练阶段用冻结的3D基础模型提供稠密几何特征,将其压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何过渡施加动作监督,提取强调动作相关过渡的互补运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征则沿动作生成路径引导中间特征,未来观测仅在训练时作为特权监督、推理时不需要。在LIBERO、LIBERO-Plus、SimplerEnv及真实双臂与单臂任务上,该方法一致提升下游策略,在WidowX评测上绝对提升10.4个百分点,并在多种VLA架构与WAM上验证了迁移效果,代码将发布于GitHub。
研究团队在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 四个模型开展指令跟随、空间推理、通用操作、鲁棒性四赛道对比评测,通过 Agent2Act 控制框架接入共享观测、动作执行与反馈接口。结果显示四模型能力画像一致:指令跟随得分高(三个接近满分)、空间推理强、通用操作得分低于其他三赛道;Astra 在指令跟随与鲁棒性领先,Opus 在空间推理、通用操作与综合表现领先。组件对比表明框架设计影响任务成功率、规划成本与执行时间,案例研究覆盖全身协调、跨形态操作、精细操作、灵巧手操作与真机任务。
论文提出 DirectWAM,通过动作充分蒸馏把预训练的扩散视频专家与动作专家转为单步预测器,保留显式的未来到动作级联,无需随机采样;训练时从预测未来解码动作并将演示动作误差经专家反向传播,可选加入未来潜在重建损失。在四个 LIBERO 套件上平均成功率 97.1%,RoboTwin 2.0 上 85.4%,相同每流一次评估预算下优于 Flash-WAM,并扩展到三个真实世界任务;相比完整迭代教师模型推理延迟降低 28.0 倍。
研究团队提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,采用受控单因素偏移、共享底层设置的干净-扰动配对 rollout 和仿真器阶段感知诊断。在四个长时程家庭操作任务、四种扰动因素与三个校准严重度下评估 GR00T N1.5,共完成 1,040 次正式 rollout。结果显示鲁棒性响应随因素和任务差异显著,严重度提升不总带来单调退化:某相机条件下 80 个配对回合中 8 个结果改变但 ΔSR=0;相机 L2 与高斯模糊 L1 的 ΔSR 同为 0.188,第一阶段失败率却分别为 19.0% 和 36.4%。代码已开源。
PACT-VLA 是一个无需训练的框架,用于解决 VLA 策略异步推理中动作块基于过时观测的问题:它从推理起始观测生成多个候选动作块,并利用提交前观测复用冻结的 VLA 策略进行选择,评分函数 FlowRes 衡量候选隐含流方向与策略预测速度的残差,无需额外验证器。流水线实现使选择不增加控制步延迟。在四步延迟下,Kinetix 上平均成功率比 RTC 高 15.0 个百分点,LIBERO 上比 GR00T N1.7 单候选异步执行高 5.2 个百分点;三个真实机器人任务上,使用同一冻结 π0.5 检查点,平均成功率从朴素异步执行的 60% 提升到 82%。
EventSync 提出一种事件驱动的分层框架:视觉语言模型依据任务计划与交互历史生成子目标,视觉语言-动作模型执行,轻量级事件监视器结合视觉观测与末端执行器轨迹判定子目标是否完成,仅在获得完成证据后才写入已完成子目标历史并触发后续推理。该方法在 RoboMME 基准上总体成功率为 64.5%,比该基准报告的最佳基线高 20.0 个百分点;并在四个记忆需求不同的真实机器人任务上完成验证。

