研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。
机器人行业洞察
今日精选
The robotics journal行业消息
CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。
研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。
研究提出EMMA框架,结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频,支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练,并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中,相比仅用真实数据训练,性能相对提升超92%,加入AdaMix后额外提升17%。
研究团队开发了一种分层仿生机器人皮肤,在顺应性软介质中嵌入感受器模拟传感器,以复现人体皮肤组织的关键结构特征。基于该平台,他们实现了生物启发与反事实两类传感布局,并在弱接触检测、类两点辨别和纹理识别三项被动触觉任务上做定量对比。结果显示,反映生物启发传感组织关键特征的布局性能高于所考察的替代配置。该工作以物理实验方式比较了活体系统中难以检验的感受器空间组织问题。
论文提出 Gibson 虚拟环境,用于为主动智能体开发真实世界感知模型。Gibson 基于对真实空间进行虚拟化,而非使用人工设计的空间,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内部合成机制“Goggles”使训练好的模型无需进一步域适应即可部署到真实世界,并对智能体进行具身化,使其受到物理和空间约束。
PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。
论文提出 OmniInteract 框架,用于双人形机器人的统一全身交互控制,包含两个核心组件:表面接触感知重定向利用密集的人机表面对应关系对两个机器人联合重定向,保留接触界面与近场几何上下文;可扩展的基于流的交互策略将控制分解为冻结的全身运动先验与伙伴感知专家残差,并通过条件流匹配在共享残差动作空间中统一。实验显示该方法提升了重定向保真度与双人形协调性,在技能多样性增长时更好地保持交互性能;真实部署验证了接触建立、全身协调稳定及外部扰动恢复。
研究提出 FIBER 框架,将冻结行为基础模型(BFM)的可执行潜在空间作为异构交互技能共享的规划表征,通过潜在策略投影(LPP)把独立训练的任务策略映射到该空间,再离线训练单一感知流规划器;同时引入用多 gamma 前向-后向学习训练的自适应视界 BFM(AH-BFM)。在仿真中,箱子拾取、开门、抓取三类任务各 128 种变化下平均成功率 42.0%,高于投影潜在回放的 11.6% 和运动学规划的 3.5%。在真实 Unitree G1 人形机器人上验证了 sim-to-real 迁移、技能链式组合与条件引导。
研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。
研究提出 NestedVLA,可在不访问原始训练数据的情况下整合多个独立微调的 VLA 策略:嵌入 VLA 的超网络为选定任务生成动作专家权重更新,每个任务的压缩视觉-语言模型更新单独存储,两类更新叠加到冻结的基础 VLA 上实例化对应策略。在 MetaWorld、ManiSkill、CALVIN 上用强化学习微调的三个策略上评估,平均成功率 66.7%,比最强模型合并基线高 41.1 个百分点;在 ManiSkill 上与逐任务微调差距在 1 个百分点内,在 CALVIN 上明显缩小差距;三策略设置下总存储为单个完整检查点的 1.5 倍。代码已开源于 GitHub。
FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。
ForeTac 提出“表示-预测-评估-引导”框架:编码当前触觉状态,以候选动作序列为条件预测未来触觉潜在轨迹,并用从成功/失败物理交互中学到的接触质量目标评估轨迹;推理时将该目标梯度经触觉预测器反传以引导动作生成,模型参数保持冻结。在平面擦拭、曲面擦拭、刷卡、易碎物抓取四项真实机器人任务上,配合扩散策略将平均任务成功率从36.3%提升至71.3%、平均接触成功率从20.0%提升至66.3%,流匹配策略下两项指标同样提升。
WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型:因果短期视觉记忆把近期观测作为 DiT 预填充,长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索,检索结果增强感知与自回归规划 token 形成隐式子目标条件,语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集,含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。
研究提出一个概念验证框架,使四足机器人的非线性动力学在设计阶段可预测,并利用重力、惯性与弹性塑造的非线性共振让多种步态自然涌现。团队研制高顺应性四足机器人eBert,用新理论工具识别出六种非线性简正模态(NNM),并在仿真与硬件上验证其存在。以黑盒优化确定步长后,仿真中每个NNM自然发展为不同速度的独特步态,且大部分可迁移到硬件。
研究提出模块化方案:在真实世界接触密集片段自主采集密集数据,再用离线强化学习训练局部策略,并与传统运动规划结合完成长时程装配。四个真实任务中仅用2–2.5小时自主采集数据,长时程任务平均成功率96%,仅规划基线55%、最强端到端基线37%;局部策略施加力降低49%,场景级分布外场景成功率仍达90%,共完成超1500次真实世界评估。
论文提出 KITE 方法,将操作解耦为与具身无关的交互意图预测和具身特定的运动学解码,交互意图以接触模式为基础的学习表示连接。交互策略仅在源机器人演示数据上训练并在不同形态目标机器人间共享,运动学解码器则利用各具身运动学模型生成的合成数据学习。在仿真与真实世界的四项操作任务上,KITE 实现向结构不同目标具身的零样本迁移,覆盖平行夹爪、灵巧手与复合具身,并优于现有基线。
论文提出 PAKE 全身控制框架,将移动操作分解为部分参考运动生成与底层模仿控制,并引入在大规模运动学数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样化部分运动学参考。高层控制器在 KNF 潜在空间中导航以利用冗余解,底层控制器学习动态一致的运动执行。在配备六自由度机械臂的四足机器人上验证:仿真中于 4000 个目标基准上跟踪精度与可行工作空间覆盖优于基线;硬件上在 8 类移动操作任务共 24 个回合中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,线速度、角速度误差分别为 0.1 m/s 和 0.01 rad/s。
ZeroDex提出零样本长程灵巧操作框架,将语言指令从标定多视角RGB图像接地为可执行3D任务规划,输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务,通过可复用原语库执行抓取放置与工具使用;工具使用检索物体中心原子动作并对齐6D工具轨迹,灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线,且无演示系统优于在100个任务演示上微调的VLA策略,并支持执行验证与重规划恢复中间失败。

