论文提出 ReStruct 方法,用于在推理阶段引导已学习的机器人策略满足训练时未预见的用户偏好,无需重新训练。该方法将视觉运动策略分解为高层状态机骨架(捕获任务结构)与低层残差控制器,用自动机表示偏好并通过同步积融入骨架以重配置任务结构,控制器保持冻结,骨架动作先验随之更新。仿真与真实世界实验显示,ReStruct 可引导从以对象为中心到时序逻辑约束的多种偏好,引导后在任务成功率与偏好遵循上超过现有方法,较 VLA 模型最高提升 25%。
机器人行业洞察
今日精选
The robotics journal行业消息
研究提出 μ₀,一种基于3D轨迹的可扩展世界模型:不预测密集像素或直接建模动作,而是为物体、工具、手和接触区域等显著交互点预测平滑3D轨迹,形成与具身无关的运动接口。配套的 TraceExtract 系统通过选取关键点、构建全局对齐轨迹、将运动片段与分层语言描述关联,从多样视频中自动提取3D监督。μ₀ 将预训练视觉-语言骨干与模块化轨迹专家结合,用B样条控制点表示查询并预测未来轨迹。实验称其在2D与3D轨迹预测上优于轨迹预测模型和词元化VLM基线;冻结的 μ₀ 可与动作专家配对用于下游具身,无动作预训练得到的轨迹条件策略性能与经动作监督预训练的VLA模型 π₀ 相当。
研究提出 SafeDojo,一种基于模型的安全强化学习框架,在交互式视频世界模型之上对视觉-语言-动作(VLA)策略做在线强化学习:ResNet 成功分类器对预测未来帧打分,轻量级安全头根据当前潜在上下文与候选动作块预测每步接触概率,两类解耦信号经拉格朗日约束的 GRPO 平衡。在 SafeLIBERO Level I 上平均安全成功率较最强基线提升 8.25 个百分点,零样本 Level II 与最强无模型基线相当;真实 Franka 部署在五项任务中取得最佳平均任务成功率与安全成功率。
研究团队提出 Move-Then-Operate 视觉-语言-动作框架,将机器人操作拆分为粗定位(move)与接触关键交互(operate)两个阶段,用可学习阶段选择器路由双专家策略;阶段标签由基于多模态大模型的流水线依据末端执行器速度、子任务分解等线索自动生成。在 RoboTwin2 基准上平均成功率 68.9%,比单体 π0 基线高 24%,与用 10 倍数据训练的模型持平或更优,训练步数减少 40% 即达峰值性能。代码已在 GitHub 开源。
该论文提出「反馈世界模型」:在推理阶段维护一个在线更新的轻量级反馈状态,利用机器人每步执行后观测到的真实下一状态修正未来预测,无需额外训练数据或参数更新。作者将其解释为潜空间观测器,并在有界、渐近收敛的动力学残差与稳定反馈增益下给出收敛保证;同时引入动作感知引导,强调动作可控分量。在 LIBERO-Plus、Robomimic 及真实操作任务上,该方法将世界模型预测误差最高降低 76.4%,并可在不更新参数的情况下改进预训练基础模型 Fast-WAM-Joint 的预测。
该论文提出Safe-Night VLA多模态操作框架,将长波红外热感知集成进预训练视觉-语言骨干网络,使机器人能基于热力学属性进行语义推理。为应对分布外场景,框架通过控制屏障函数加入安全滤波器,在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验,设置温度条件操作、次表面目标定位与反射消歧三类评估任务,结果显示其性能优于仅RGB基线。
研究评估了7个可本地部署的视觉语言模型(含面向物理AI与机器人的模型)在两个以人为中心的热成像数据集上的表现,诊断任务包括细粒度动作识别、活动时间线重建和拒绝无依据回答。结果显示模型能识别宽泛活动类别,但在咳嗽、打喷嚏、打哈欠等细粒度动作上表现不佳,生成的事件时间线不准确,并会幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限的、依赖模型的增益;即便给出明确指令,各模型的弃答行为也不一致。
论文提出 AtomicRL,一个面向 VLA 策略的强化学习后训练框架,用原子任务结构做信用分配与自适应探索:语义感知策略优化(SAPO)用语义门控阻止失败原子子任务的 TD 残差跨任务边界传播,瓶颈自适应目标探索(BATE)按各原子子任务掌握度动态调整任务采样与局部探索激励。配套 Real2Sim2Real 流水线衔接仿真在线 RL 与真机部署。在 LIBERO-LONG 上,两种 VLA 架构相对 PPO 绝对提升 3.6% 和 4.0%;CALVIN ABC-D 全任务性能最高提升 9.5%;结合真机流水线后真实任务性能平均提升 21.3%。
arXiv 2610.30117v1 提出 CW-WAM 世界动作模型,联合预测视频、运动与接触力旋量,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考,采用成对因果注意力与长固定长度力旋量记忆。预测的力旋量块作为 20 Hz 外环导纳控制器的力参考,嵌入慢-快控制系统。实验显示,相比无旋量输入的 WAM,单边间隙 1 mm 方形销插入成功率由 25% 升至 70%,电源适配器由 40% 升至 95%,并提升不同负载下的抬升高度精度;配合导纳控制器,销插入力参考 RMSE 由 4.8 N 降至 2.7 N,擦拭由 2.0 N 降至 1.3 N。
论文提出 PAPAV 能力中心框架,将多模态具身智能体(MMEA)定义为耦合多模态任务推理与物理动作、并依据反馈修正决策的目标导向系统,包含感知状态、预判动作效果、规划路径、通过接口或本体执行、验证结果五项功能。作者据此对比 MMEA 与计算机使用多模态智能体(MMA)及机器人系统(RS),指出部分可观测、结果不可验证等五项物理约束使可预先固定的选择更少、纠错空间更小。在 64 个基准中,显式评估集中于“执行”,仅 5 个评估“预判”、3 个评估“验证”。
研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。
研究提出 SP-HLM 框架,以五个任务关键身体姿态加学习到的潜在运动先验构成稀疏姿态接口,替代单一动作表示。其中 SP-VLA 视觉-语言-动作模型通过异步动作分块推理,从多模态观测与语言指令预测稀疏姿态和手指关节位置;SP-MGM 经两阶段蒸馏训练,实时重建全身运动;预训练运动编码器将其映射为紧凑潜在表示;SP-GMT 通用运动跟踪器融合显式稀疏目标与隐式运动先验完成全身控制。仿真与真实人形机器人实验显示,其运动跟踪、全身协调和移动操作成功率优于现有方法。
研究提出事后核方差头(post-hoc kernel-variance heads),从单个 VLA 策略的嵌入估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试,其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当;视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别,执行变异性削弱任务内排名评估,受控扰动可作为补充评估。
论文提出OMAR流程:视觉语言模型为未知物体生成标签及内容、包装类型等属性,经分割、深度与多视图关联完成跨视图定位,构建实例级3D场景图;再由LLM在该表示上推理货架潜在组织方式,对场景一致的放置位置排序,无需用户提供偏好,排序结果用于后续几何与运动学可行性检查。实验显示,该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线,可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。
arXiv 2610.29829v1 提出将物理AI的零样本泛化定义为对部署分布的覆盖,并指出同一采集者的更多样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。作者据此提出机器人动作共享潜在空间,结合多模态对齐、生成式增强与噪声标签学习,并以标准易用机器人 Origami 上的开发者社区作为多样数据来源,最后给出将真实机器人零样本成功率与数据多样性关联的可检验假设和评估协议。
SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作:对每段视频重建场景几何并估计手部运动,用手部尺寸先验在视频级尺度上对齐二者,重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何,预测未来场景几何与手腕、手指动作,并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后,该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分,在六个真实双手灵巧任务上高 38.3 分;匹配比较下,用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。
作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。
一篇arXiv新论文(arXiv:2610.29677v1)将递归自我改进(RSI)概念引入机器人学习,梳理从提升机器人能力到改进能力生成过程的路径。作者指出,物理世界的RSI需通过代价高昂的试错从部分观测中学习,并应对运行条件变化与不可逆后果;收益延续需满足四个条件:反馈针对剩余学习需求、接收组件能利用该变化、价值在任务或硬件变化后仍成立、持续实践安全可负担。现有研究集中于操作任务,已支持行为改进、对后续学习的助益与过程改进,但尚无物理研究分离出可归因于递归的收益。
FlowVLA 将运动生成与物理补全估计分离:共享 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒与返回,另一与目标无关的估计器融合视觉、关节、腕部力/力矩及循环力信念历史来估计已转移质量,当估计值加预测残余流出量达到请求质量时触发返回。在咖啡壶/水实验中,其目标均衡平均绝对误差(MacroMAE)为 13.1 g,低于所有测试的 VLA 基线;全部尝试中 53.7% 既完成任务又将最终质量控制在请求值 ±10% 内。同一模型无需重训即可插值到留出的 150/250 g 目标,独立训练模型还在另外三种容器-流体设置中验证了该公式。

