rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架,通过双阶段缓存利用机器人重复执行间的相似性:上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问,并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上,于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速,真实机器人成功率保持不变。
机器人行业洞察
今日精选
The robotics journal行业消息
AOV-GS是一个主动3D高斯建图系统,用冻结的SAM和CLIP基础模型引导探索:粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序,使探索偏向语义信息丰富区域;场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码,支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下,语言场平均mIoU在Replica八个场景达34.6%,比仅几何主动规划高1.3个百分点;Matterport3D五个场景达23.1%,高1.8个百分点;配合CorrCLIP在Replica达35.6%,高2.0个百分点。新视角PSNR与基线相当,Replica深度L1改善。代码已开源。
该研究提出局部动作条件世界模型框架,用于机器人超声检查中的目标平面探头引导。方法分两阶段:先用潜在条件扩散世界模型,根据近期上下文帧、探头运动和时间偏移预测未来超声观测;再用目标条件时序Transformer预测有序探头运动,并以冻结世界模型的奖励进行微调。在自采集数据集上,世界模型在目标导向扫描中保留了依赖动作的解剖结构;真实闭环实验中,颈动脉引导成功率70.0%,甲状腺引导成功率65.0%。
论文提出 ReStruct 方法,用于在推理阶段引导已学习的机器人策略满足训练时未预见的用户偏好,无需重新训练。该方法将视觉运动策略分解为高层状态机骨架(捕获任务结构)与低层残差控制器,用自动机表示偏好并通过同步积融入骨架以重配置任务结构,控制器保持冻结,骨架动作先验随之更新。仿真与真实世界实验显示,ReStruct 可引导从以对象为中心到时序逻辑约束的多种偏好,引导后在任务成功率与偏好遵循上超过现有方法,较 VLA 模型最高提升 25%。
研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
研究提出 SafeDojo,一种基于模型的安全强化学习框架,在交互式视频世界模型之上对视觉-语言-动作(VLA)策略做在线强化学习:ResNet 成功分类器对预测未来帧打分,轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率,两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点,零样本 Level II 与最强无模型基线相当;真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。
研究提出多分辨率触觉感知框架 MiTaS,融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器,采用模态特定卷积主干加 Transformer 融合,并以流匹配策略执行下游任务。在五个接触密集型操作任务上,MiTaS 平均成功率 80%,仅视觉基线为 35.5%,视觉-触觉基线为 55.5% 和 63%。
论文提出 OSCAR 框架,让机器人在图导航中学习按障碍物类别区分的剩余清空时间生存分布,并据此为每条被阻塞的边计算“等待多久再绕行”的耐心阈值。模型可处理绕行时尚未观察到清空而出现的右删失数据,并集成到依赖时间的图规划器中持续在线更新。仿真中每类障碍物观测少于 20 次后,到达目标时间与掌握真实分布的 oracle 相差 1% 以内,优于全部启发式基线;在大学中庭用真实移动机器人对行人、椅子、垃圾桶和管子等障碍完成 50 个导航回合,耐心阈值随经验在线调整。
研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。
该论文提出「反馈世界模型」:在推理阶段维护一个在线更新的轻量级反馈状态,利用机器人每步执行后观测到的真实下一状态修正未来预测,无需额外训练数据或参数更新。作者将其解释为潜空间观测器,并在有界、渐近收敛的动力学残差与稳定反馈增益下给出收敛保证;同时引入动作感知引导,强调动作可控分量。在 LIBERO-Plus、Robomimic 及真实操作任务上,该方法将世界模型预测误差最高降低 76.4%,并可在不更新参数的情况下改进预训练基础模型 Fast-WAM-Joint 的预测。
该论文提出Safe-Night VLA多模态操作框架,将长波红外热感知集成进预训练视觉-语言骨干网络,使机器人能基于热力学属性进行语义推理。为应对分布外场景,框架通过控制屏障函数加入安全滤波器,在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验,设置温度条件操作、次表面目标定位与反射消歧三类评估任务,结果显示其性能优于仅RGB基线。
论文提出ExtremControl全身控制框架,将人形机器人遥操作端到端延迟从现有方法约200ms降至最低50ms。作者将仅使用位置的PD控制认定为延迟下限的根本原因,在底层控制中加入缩放速度前馈,使跟踪延迟减少约70ms,并给出可证明最优的前馈比例;控制直接作用于所选刚性连杆(主要是机器人末端)的SE(3)位姿,避免控制回路中的关节空间重定向,并推导出只需一次拟人化标定的闭式笛卡尔空间映射以适配不同体型操作者。系统支持光学动捕与VR追踪,在仿真和真机上验证了速度前馈在强化学习运动控制中的有效性,并演示了乒乓球平衡、杂耍和实时回球等反应性任务。
研究提出 AFFORD2ACT,用现成语言条件 affordance 模型定位任务相关区域,从中选取最多 15 个物体关键点加 4 个末端执行器关键点,策略输入仅 19 个二维关键点(38 个坐标),并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上,该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线,演示数量减少时性能下降更小,留出设置平均成功率 82%;把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪,仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。
研究团队构建了面向农业机器人的视觉-语言导航基准 A2A,包含 6 类农业场景、1,560 个回合,指令为逐步格式、动作为连续环境。在 A2A 上评估现有 VLN 方法发现,这些方法在短指令上表现良好、长指令上表现较差。为此作者设计 STL 模块,将复杂指令分解为简单子任务,并集成到 NavGPT 主干形成 AgriVLN,使成功率从 0.33 提升至 0.47,导航误差从 2.76 米小幅增至 2.91 米。代码已开源于 GitHub。
智元机器人发布 AgiBot World 平台,覆盖 5 个部署场景、217 项任务、超 100 万条轨迹,数据规模较现有数据集提升一个数量级;采集流程标准化并引入人工在环验证,可从夹爪扩展至灵巧手与视触觉传感器。基于该数据训练的通用策略 GO-1 采用潜在动作表示,在域内与分布外场景平均性能较 Open X-Embodiment 预训练策略提升 30%,复杂真实任务成功率超 60%,较 RDT 方法高 32%。数据集、工具与模型均已开源。
研究评估了7个可本地部署的视觉语言模型(含面向物理AI与机器人的模型)在两个以人为中心的热成像数据集上的表现,诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别,但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳,生成的事件时间线不准确,并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益;即便给出明确指令,各模型的弃答行为也不一致。
论文提出 AtomicRL,一个面向 VLA 策略的强化学习后训练框架,用原子任务结构做信用分配与自适应探索:语义感知策略优化(SAPO)用语义门控阻止失败原子子任务的 TD 残差跨任务边界传播,瓶颈自适应目标探索(BATE)按各原子子任务掌握度动态调整任务采样与局部探索激励。配套 Real2Sim2Real 流水线衔接仿真在线 RL 与真机部署。在 LIBERO-LONG 上,两种 VLA 架构相对 PPO 绝对提升 3.6% 和 4.0%;CALVIN ABC-D 全任务性能最高提升 9.5%;结合真机流水线后真实任务性能平均提升 21.3%。
研究在合成基准与 CausalWorld 机器人连杆质量外推任务上检验因果世界模型的输入选择与机制计算方式。合成基准中,由配对干预导出的冻结依赖掩码把分布外平均 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器理想掩码的 0.694。CausalWorld 中训练与测试质量范围不相交,已知 PD 控制器模型使 150 步 rollout 的中位时间平均关节 R2 从 0.609 升至 0.727,十个任务种子全部改善(双侧符号检验 p=0.002);学习力矩模型在 100 步预测中中位关节 R2 为 0.755-0.768,与最强 RWM 配置的 0.752 相当。
arXiv 2610.30117v1 提出 CW-WAM 世界动作模型,联合预测视频、运动与接触力旋量,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考,采用成对因果注意力与长固定长度力旋量记忆。预测的力旋量块作为 20 Hz 外环导纳控制器的力参考,嵌入慢-快控制系统。实验显示,相比无旋量输入的 WAM,单边间隙 1 mm 方形销插入成功率由 25% 升至 70%,电源适配器由 40% 升至 95%,并提升不同负载下的抬升高度精度;配合导纳控制器,销插入力参考 RMSE 由 4.8 N 降至 2.7 N,擦拭由 2.0 N 降至 1.3 N。
论文提出 PAPAV 能力中心框架,将多模态具身智能体(MMEA)定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统,包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体(MMA)及机器人系统(RS),指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中,显式评估集中于“执行”,仅 5 个评估“预判”、3 个评估“验证”。

