rMuscle 是一个受人类肌肉记忆启发的实时 VLA 推理框架，通过双阶段缓存利用机器人重复执行间的相似性：上下文缓存复用视觉 token 输出以减少计算，动作缓存复用神经元激活模式以减少权重访问，并结合在线缓存重计算、滑动窗口检索和连续去噪步骤掩码共享控制内存与访问开销。在 RTX 4090 与 Jetson Thor 上，于 LIBERO、RoboTwin 及物理操作任务中取得 1.29-1.42 倍加速，真实机器人成功率保持不变。
机器人行业洞察
今日精选
The robotics journal行业消息
AOV-GS是一个主动3D高斯建图系统，用冻结的SAM和CLIP基础模型引导探索：粗探索阶段按SAM实例分割算出的CLIP掩码嵌入新颖度对候选视角重排序，使探索偏向语义信息丰富区域；场景特定语言场离线直接拟合采集到的CLIP嵌入而非人工标注掩码，支持新视角开放词汇文本查询分割。在相同SAM-CLIP感知栈下，语言场平均mIoU在Replica八个场景达34.6%，比仅几何主动规划高1.3个百分点；Matterport3D五个场景达23.1%，高1.8个百分点；配合CorrCLIP在Replica达35.6%，高2.0个百分点。新视角PSNR与基线相当，Replica深度L1改善。代码已开源。
研究提出 μ₀，一种基于3D轨迹的可扩展世界模型：不预测密集像素或直接建模动作，而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹，形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联，从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合，用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线；冻结的 μ₀ 可与动作专家配对用于下游具身，无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
研究提出多分辨率触觉感知框架 MiTaS，融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器，采用模态特定卷积主干加 Transformer 融合，并以流匹配策略执行下游任务。在五个接触密集型操作任务上，MiTaS 平均成功率 80%，仅视觉基线为 35.5%，视觉-触觉基线为 55.5% 和 63%。
研究团队提出 Move-Then-Operate 视觉-语言-动作框架，将机器人操作拆分为粗定位（move）与接触关键交互（operate）两个阶段，用可学习阶段选择器路由双专家策略；阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%，比单体 π0 基线高 24%，与用 10 倍数据训练的模型持平或更优，训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。
该论文提出Safe-Night VLA多模态操作框架，将长波红外热感知集成进预训练视觉-语言骨干网络，使机器人能基于热力学属性进行语义推理。为应对分布外场景，框架通过控制屏障函数加入安全滤波器，在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验，设置温度条件操作、次表面目标定位与反射消歧三类评估任务，结果显示其性能优于仅RGB基线。
研究提出 AFFORD2ACT，用现成语言条件 affordance 模型定位任务相关区域，从中选取最多 15 个物体关键点加 4 个末端执行器关键点，策略输入仅 19 个二维关键点（38 个坐标），并用轻量门控决定执行时关注哪些关键点。在六个真实机器人操作任务上，该紧凑表示优于 RGB、RGB-D 和稠密 affordance 行为克隆基线，演示数量减少时性能下降更小，留出设置平均成功率 82%；把学习门控换成均匀权重后成功率从 92% 降到 52%。该方法依赖可靠的 affordance 定位与关键点跟踪，仍易受错误掩码、遮挡、跟踪漂移和干扰物影响。
研究评估了7个可本地部署的视觉语言模型（含面向物理AI与机器人的模型）在两个以人为中心的热成像数据集上的表现，诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别，但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳，生成的事件时间线不准确，并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益；即便给出明确指令，各模型的弃答行为也不一致。
arXiv 2610.30117v1 提出 CW-WAM 世界动作模型，联合预测视频、运动与接触力旋量，将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考，采用成对因果注意力与长固定长度力旋量记忆。预测的力旋量块作为 20 Hz 外环导纳控制器的力参考，嵌入慢-快控制系统。实验显示，相比无旋量输入的 WAM，单边间隙 1 mm 方形销插入成功率由 25% 升至 70%，电源适配器由 40% 升至 95%，并提升不同负载下的抬升高度精度；配合导纳控制器，销插入力参考 RMSE 由 4.8 N 降至 2.7 N，擦拭由 2.0 N 降至 1.3 N。
论文提出 PAPAV 能力中心框架，将多模态具身智能体（MMEA）定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统，包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体（MMA）及机器人系统（RS），指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中，显式评估集中于“执行”，仅 5 个评估“预判”、3 个评估“验证”。
研究提出事后核方差头（post-hoc kernel-variance heads），从单个 VLA 策略的嵌入估计认知不确定性，每个头计算以训练演示嵌入为条件的高斯过程条件方差，拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试，其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当；视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别，执行变异性削弱任务内排名评估，受控扰动可作为补充评估。
论文提出OMAR流程：视觉语言模型为未知物体生成标签及内容、包装类型等属性，经分割、深度与多视图关联完成跨视图定位，构建实例级3D场景图；再由LLM在该表示上推理货架潜在组织方式，对场景一致的放置位置排序，无需用户提供偏好，排序结果用于后续几何与运动学可行性检查。实验显示，该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线，可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。
arXiv 2610.29829v1 提出将物理AI的零样本泛化定义为对部署分布的覆盖，并指出同一采集者的更多样本只能缓慢缩小未见区域，而每个新贡献者都能扩展该区域。作者据此提出机器人动作共享潜在空间，结合多模态对齐、生成式增强与噪声标签学习，并以标准易用机器人 Origami 上的开发者社区作为多样数据来源，最后给出将真实机器人零样本成功率与数据多样性关联的可检验假设和评估协议。
SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作：对每段视频重建场景几何并估计手部运动，用手部尺寸先验在视频级尺度上对齐二者，重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何，预测未来场景几何与手腕、手指动作，并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后，该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分，在六个真实双手灵巧任务上高 38.3 分；匹配比较下，用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。
FlowVLA 将运动生成与物理补全估计分离：共享 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒与返回，另一与目标无关的估计器融合视觉、关节、腕部力/力矩及循环力信念历史来估计已转移质量，当估计值加预测残余流出量达到请求质量时触发返回。在咖啡壶/水实验中，其目标均衡平均绝对误差（MacroMAE）为 13.1 g，低于所有测试的 VLA 基线；全部尝试中 53.7% 既完成任务又将最终质量控制在请求值 ±10% 内。同一模型无需重训即可插值到留出的 150/250 g 目标，独立训练模型还在另外三种容器-流体设置中验证了该公式。
研究提出SERA（自进化机器人智能体）：将高层VLM组织为机器人智能体，通过可编辑执行框架维护任务上下文，并用观测与执行反馈更新上下文以指导后续规划；低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订，选定配置在留出测试前固定。在RoboMME基准上，SERA自主选择配置的总体成功率为51.38%，无自进化时为44.38%。
研究提出 PAL（Plan first, Act Later）分层记忆框架，用于视觉-语言机器人操作，包含短期视觉缓冲、语义事件记忆和可执行 subtask_list。高层 VLM 将流式视觉观测转为 subtask_list，执行时选取当前相关子任务交给底层 VLA 策略；配套两阶段数据生成，先扩展稀疏更新监督，再用任务落地验证的自标注生成训练数据。在 RoboMME 上成功率达 56.05%，超过最强基线 FrameSamp-Modul 的 44.51%；四项真实操作任务总体成功率 60.83%，高于 MemER 的 45.00% 和 FrameSamp-Modul 的 28.33%。
针对世界动作模型（WAM）的视频与动作目标未显式约束三维几何、而逐点对齐三维基础模型特征又会过度约束紧凑动作特征的问题，论文提出关系几何强制（RGF）：从冻结的三维基础模型迁移几何先验，对齐成对特征关系而非逐点特征。RGF 包含帧内、跨视角、动作-时间三个互补关系目标，仅在训练阶段使用，无需显式几何分支或额外推理模块。仿真与真实世界实验显示，在多种操作场景和 WAM 范式下均取得一致增益。
该论文提出DepState-JEPA，一种基于V-JEPA 2.1的双流RGB-深度联合嵌入预测架构，通过共享潜在状态DepState将空间理解与动作条件预测连接。深度既作为互补观测流，也用于将两种模态锚定在度量三维空间中；射线条件读出无需目标深度即可预测局部特征，动作条件转移后同一解码器预测未来RGB与深度特征。机器人状态读出提供递归本体感受输入，物体轨迹监督与校准正向运动学通过运动目标和关节-TCP一致性塑造状态学习。对比显示RGB-D适配后RGB编码器迁移、特征补全、条件视觉预测和操作成功率均有提升，消融实验识别出深度内容、度量坐标、未来状态匹配的贡献及FK正则化的额外控制增益。