论文提出 OASIS(在线锚点中心场景推理系统),用稀疏锚点节点表示室内环境,每个节点融合语义描述、视觉特征与几何状态,支持在线建图、开放词汇检索与导航。系统复用导航中采集的瞬时观测,在场景变化后重新定位被移动的物体,并以紧凑记忆支持按需证据提取与分层检索。在仿真与真实环境的标准检索基准及静态、动态导航任务中完成验证。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征为目标,同时以历史观测作为时间上下文条件。在多种真实世界操作场景中,FRED 持续优于同类 WAM,在零样本环境泛化的长时程与域外任务上提升明显;在仅有人类视频演示、无机器人训练数据的任务上成功率达 50.0%,最佳对比方法为 19.4%。
论文发现VLA动作生成与图像/视频生成差异显著:仅将训练时间步分布偏向噪声端点,即可在LIBERO、LIBERO-Plus、LIBERO-Pro及真实机器人任务上获得强单步策略;对多种架构的开源VLA模型,用单次前向替代迭代解码,在LIBERO、CALVIN、SimplerEnv等基准上常与原多步解码相当。作者用标准Flow Matching的不可约速度损失R_v(t,c)解释:VLA在噪声端点处该损失更小,而图像生成模型多呈U形;学习到的生成映射对初始噪声的雅可比最大奇异值在动作生成中明显更小。作者认为VLA的条件-目标结构更接近图像到文本,使单步生成更易实现,代码与训练配置已开源。
研究提出 Cartender 方法,从真实驾驶记录中构建反事实分支:由视觉语言模型提出替代未来及对应选择指令,不受支持的指令作为负标签,无需模拟器。方法学习场景-语言兼容性分数调节轨迹生成,并用奖励训练的语言残差对候选重排序。在 WOD-E2E 上,3,603 个可行指令条件下最佳提案 RFS 为 8.642;8,974 个被接受提案平均 RFS 8.203,高于匹配记录轨迹的 7.906,67% 提案得分超过记录对应项。同场景配对指令成功率从 23.67% 升至 57.00%,RFS 从 6.32 升至 7.10,不可行指令执行率从 53.36% 降至 14.18%。
论文提出 PaceVLA 框架,用于解决 VLA 模型因从遥操作演示学习细粒度时间模式、需大量底层动作步而导致的执行时间效率低问题。该框架包含两个耦合组件:基于共享动作专家的模式特定动作解码器,支持多种时间粒度与预测时域;以及可量化性引导的模式选择方案和上下文条件路由器,在每个推理步判断粗粒度执行是否合适并选择执行模式。在三个多任务仿真基准和六个真实世界任务上,PaceVLA 在多种具身形态(含长时程与灵巧操作)中提升执行效率并保持任务成功率。
研究提出FoveaVLA,用学习到的注视动作替代VLA中的腕部相机:策略在每个动作块之外预测下一次查询需观察的交互区域,并从原始分辨率图像中裁剪该区域,与完整视图一并输入。模型基于π0.5构建Single与Dual两种配置(分别使用一个或两个外部立体相机,输入完整与注视区域的RGB-D),在DROID数据集结合RoboInter交互标注上后训练。四个真实任务套件中,FoveaVLA-Single单外部RGB-D视图成功率70.8%,Dual为77.1%,配备腕部相机的π0.5为52.1%;在普通抓取放置任务上与基线持平,在存在干扰物、布料操作和远距离物体任务上成功率提升。
研究团队发布开源平台 PolyUMI,其轻量无线手持夹爪可同步采集腕部相机、光学触觉、接触音频与本体感觉数据,无需外接工作站;同一传感手指可转移至机器人末端执行器,保持演示采集与策略执行间的传感几何一致。配套提出 token 级多模态策略 VisTA,跨传感器与时间整合信息以预测接触感知动作。在物体推理、滑动控制与接触丰富操作实验中,触觉与音频提供了视觉之外的任务相关信息,VisTA 与现有多模态策略相比具有竞争力或更优。
研究提出BAS-VLA任务语义动作校准框架,构建于冻结的基础VLA模型之上,默认采用以语义破坏为中心的校准核心,并辅以选择性证据门控的保持辅助模块,用于纠正外观变化引起的动作漂移。在四个目标物体替换任务上,变化任务成功率从2.3%提升至68.5%;在经验证的外观保持变化上,成功率从42%提升至70%,且干净性能未下降。
rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架,通过双阶段缓存利用机器人重复执行间的相似性:上下文缓存复用视觉 token 输出以减少计算,动作缓存复用神经元激活模式以减少权重访问,并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上,于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速,真实机器人成功率保持不变。
AOV-GS是一个主动3D高斯建图系统,用冻结的SAM和CLIP基础模型引导探索:粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序,使探索偏向语义信息丰富区域;场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码,支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下,语言场平均mIoU在Replica八个场景达34.6%,比仅几何主动规划高1.3个百分点;Matterport3D五个场景达23.1%,高1.8个百分点;配合CorrCLIP在Replica达35.6%,高2.0个百分点。新视角PSNR与基线相当,Replica深度L1改善。代码已开源。
研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
研究提出多分辨率触觉感知框架 MiTaS,融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器,采用模态特定卷积主干加 Transformer 融合,并以流匹配策略执行下游任务。在五个接触密集型操作任务上,MiTaS 平均成功率 80%,仅视觉基线为 35.5%,视觉-触觉基线为 55.5% 和 63%。
研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。
该论文提出Safe-Night VLA多模态操作框架,将长波红外热感知集成进预训练视觉-语言骨干网络,使机器人能基于热力学属性进行语义推理。为应对分布外场景,框架通过控制屏障函数加入安全滤波器,在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验,设置温度条件操作、次表面目标定位与反射消歧三类评估任务,结果显示其性能优于仅RGB基线。
研究提出 AFFORD2ACT,用现成语言条件 affordance 模型定位任务相关区域,从中选取最多 15 个物体关键点加 4 个末端执行器关键点,策略输入仅 19 个二维关键点(38 个坐标),并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上,该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线,演示数量减少时性能下降更小,留出设置平均成功率 82%;把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪,仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。
研究评估了7个可本地部署的视觉语言模型(含面向物理AI与机器人的模型)在两个以人为中心的热成像数据集上的表现,诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别,但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳,生成的事件时间线不准确,并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益;即便给出明确指令,各模型的弃答行为也不一致。
arXiv 2610.30117v1 提出 CW-WAM 世界动作模型,联合预测视频、运动与接触力旋量,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考,采用成对因果注意力与长固定长度力旋量记忆。预测的力旋量块作为 20 Hz 外环导纳控制器的力参考,嵌入慢-快控制系统。实验显示,相比无旋量输入的 WAM,单边间隙 1 mm 方形销插入成功率由 25% 升至 70%,电源适配器由 40% 升至 95%,并提升不同负载下的抬升高度精度;配合导纳控制器,销插入力参考 RMSE 由 4.8 N 降至 2.7 N,擦拭由 2.0 N 降至 1.3 N。
论文提出 PAPAV 能力中心框架,将多模态具身智能体(MMEA)定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统,包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体(MMA)及机器人系统(RS),指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中,显式评估集中于“执行”,仅 5 个评估“预判”、3 个评估“验证”。

