论文提出 WAM-TTT 测试时训练框架,通过自监督视频预测将原始人类视频吸收进冻结的世界-动作模型(WAM)内部的轻量自适应记忆,而非将人类视频当作模仿轨迹。研究引入元训练阶段,利用配对的人-机器人数据和键值记忆重建目标,将人类演示与机器人行为对齐。测试时仅需无标注人类视频即可适配记忆,预训练 WAM 保持冻结,无需机器人动作、人工标注或任务特定微调。实验显示其在多种操作任务与泛化设置下持续优于上下文人类视频条件基线。
机器人行业洞察
今日精选
The robotics journal行业消息
该综述围绕3D生成在具身系统中的三种角色组织文献:作为数据生成器,产出关节化、具物理依据和可变形的仿真就绪物体资产;作为仿真环境,构建结构感知、可控和智能体化的交互式任务场景;作为Sim2Real桥梁,支持数字孪生重建、数据增强与合成演示。作者指出领域正从视觉真实感转向交互就绪性,并列出物理标注有限、几何质量与物理有效性脱节、评估碎片化、仿真到现实鸿沟等瓶颈。项目页面为3dgen4robot.github.io。
SceneBloom 提出一种智能体框架,将视觉布局采样与契约引导的3D编译结合:分层采样器用扩散先验在功能区内生成家具布局,编译器再用从每个方案提取的关系引导几何拟合与局部位姿修正。在五类房间上,该方法视觉质量与物理稳定性均为对比方法中最高,且是唯一未检测到网格碰撞与越界物体的方法,布局分布也更接近真实房间。在这些场景中训练的物体导航策略,在留出的真实扫描上成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
Astrobee自由飞行机器人在国际空间站完成首次在轨演示:用机器学习热启动加速轨迹优化。方法训练神经网络学习序列凸规划(SCP)求解的轨迹生成问题结构,在轨由网络预测解、SCP求解器强制安全约束。含旋转动力学的案例求解器迭代次数减少60%,障碍物取自热启动模型训练分布的案例减少50%。
首尔大学研究团队提出从大规模演示数据中学习速度先验,给定任务指令、运动路径及沿途图像预测执行速度分布,取分位数作为统一时钟对演示重定时,单个先验覆盖语料库全部任务。该方法在机器人遥操作与手持演示数据上拟合,将机器人演示重定时为手持节奏后微调视觉-语言-动作策略,执行时配合实时最优控制层跟踪动作块。在120个RoboLab任务上,微调策略成功率更高、抖动最多降低一半;真实机器人叠杯耗时3.50秒,比默认策略6.02秒快1.72倍,30次试验成功29次。
arXiv 论文指出,人形机器人安全过滤器的碰撞规避数学保证仅在安全参数配置正确时成立,而参数配置依赖具体任务与环境,缺乏通用确定方法,导致出厂过滤器在特定部署场景下失效。作者提出目标插入攻击,并开发自动化工具 SIREN 为给定任务与环境搜索易受攻击的插入目标;在 SPARK 数据集全部存在漏洞的场景中均识别出攻击,数量为基线方法的三倍,并能在真实人形机器人上生成攻击、使其在执行任务时发生碰撞。
研究提出一种接入ROS 2 Nav2的自然语言策略接口:本地大语言模型将操作员指令转为JSON策略,指定目的地、空间约束及时间或事件条件,确定性检查决定任务是否接受,三个代价地图适配器把接受的策略投影进现有导航栈,不改动规划器与控制器。在150条研究者编写的英文指令上,四个本地模型产出107-142条正确接受策略,规则解析器为44条,各模型错误接受3-20次;故障注入中8个端点/JSON故障与29个验证器阶段故障被拒。仿真与TurtleBot3实验中,任务1-3平均行驶时间较无策略基线在仿真降低18.4-24.5%、实体平台降低23.1-35.0%。
DexPort 是面向高自由度机器人手的手持式便携数据采集接口,采集与部署使用同一套手部硬件以消除手部本体差异,同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指运动,无需逐关节控制。研究团队在 4 项任务(多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描)中于实验室与野外采集超过 2,500 条演示,用行为克隆直接训练视觉运动策略。结果显示,使用记录的机器人指令替代状态使成功率从 11% 提升至 64%,使用野外数据使任务成功率从 36% 提升至 78%。
研究提出Backtrack,一种面向冻结VLA的失败检测与恢复机制:仅用带结果标签的轨迹训练一个小型失败预测头,读取VLA内部表示预测当前回合是否会失败,参数量仅增加0.48-0.88%。预测失败概率超阈值时,控制器暂停策略、回溯机械臂最近运动,再交回原策略从较早构型重试。在LIBERO-Long上,SmolVLA、π0.5、π0-FAST三个策略失败率降低19-48%,成功率最多提升7.4个百分点;MetaWorld上SmolVLA的十二种控制器配置全部优于无辅助策略。
论文提出 ViT-H 框架,用扩散模型从单目人类视频直接生成人形机器人参考运动,跳过人体运动重建与重定向两步,并用下游运动跟踪结果通过直接偏好优化对生成器做后训练。作者还给出自回归变体,在 Unitree G1 上实现延迟低于 400 毫秒的实时视频遥操作。实验称其在运动质量与可执行性上优于现有“重建-重定向-跟踪”流水线,且随模型规模、预训练与后训练数据规模扩展表现良好。
研究团队发布 CoCarry 数据集,含 220 条同步双人协同搬运序列,覆盖 21 种任务方案、5 种共享物体几何、4 种地形,总时长约 61 分钟。配套提出接触-支撑结构化重定向方法,围绕同一预设物体轨迹联合优化两台人形机器人,用物体局部手部锚点保持四手抓取关系。220 条序列重定向至两台 A3 人形机器人后接触保持率 0.9995,穿透时长较 GMR、OmniRetarget 分别降低 67.0% 和 71.0%,成功率 100%;在 Unitree G1 上的 CORE4D 测试接触保持率 0.9906、滑动为零,并经物理仿真与两台实体 A3 实验验证。
该研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合:放置模块从外部视觉识别任务特定解剖起点并确立初始探头位姿为参考系,基于流的策略依据锚点相对位姿、超声图像、探头相机视图与接触力生成扫查动作,终止头预测任务完成。手持采集平台可在无机器人条件下采集自由手扫查的多模态演示。在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集与桡动脉扫查成功率分别为96%、94%、88%、94%;相比微调pi_0模型,腹部任务成功率提升10-42个百分点,目标到达时间、峰值接触力与轨迹抖动更低。自动放置端到端试验成功率90-100%,策略无需重训迁移至第二台机器人成功率83-100%。
研究在24关节人形机器人上,用单目视频提取的五种运动训练运动跟踪策略,并在独立的CPU MuJoCo测试框架中验证。训练随机化下每个策略30次试验至少26次完成动作;加入40毫秒恒定指令延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。训练时将延迟随机化到0–50毫秒,40毫秒延迟下平均存活率升至95%(75%–100%),裕度提高到50–70毫秒;相同额外迭代但不做延迟随机化的对照组无改善,说明增益来自随机化本身。代价是跟踪精度略降(四种运动0.02–0.06弧度),最具动态性的运动对其他扰动鲁棒性下降。
DynaSlots提出一种无需动作标签的3D视觉预训练框架,将每帧点云分解为少量时间一致的槽位,在槽位层面而非场景层面建模动力学,避免把多物体场景中语义不同的状态转移压缩成单一全局潜在动作。方法包含时间槽位传播模块、逐槽位提取潜在动作的逆动力学模型,以及基于扩散的前向动力学模型与自监督交互头。在Meta-World、Adroit仿真环境和RealMan RM65-B真机上,其成功率优于场景级基线,并对场景杂乱与未见物体保持鲁棒性,代码已公开。
论文提出 LogLook,一种面向前沿视觉语言模型机器人规划器的执行锚定记忆机制:系统保留执行日志与模型此前笔记,由模型决定查看位置,仅在预期变化处返回帧,并在检查所选部分前先略读演示。用基准的运动规划器测量,LogLook 在 token 减少 43%、图像用量不到一半的情况下达到与仅笔记记忆相同的成功率,因记忆或所见内容导致的失败回合大幅减少;直接控制下在 RoboMME 测试集上解决 93.5%。
MAST-VLA提出一种双条件机器人操作框架:在LLM主干中引入技能条件化的LoRA混合专家适配器,用技能查询token与路由偏置引导低秩专家特化;同时把预测的可供性热图转为动作头的patch级轨迹-可供性空间先验。在CALVIN ABC→D长时程多技能跨场景泛化设置上,五子任务评估序列平均长度达4.65,作者称达到最先进水平;真实机器人多技能序列实验验证了其在真实感知与控制噪声下的可部署性。
研究团队在Unitree Go2四足机器人上搭载AgileX Piper机械臂,实现闭环移动操作(loco-manipulation),并系统梳理了从固定基座机械臂迁移到腿式平台时,在数据采集、模型适配与推理设计上的实际需求。作者报告了使真机部署可行的关键选择,包括模型变体、动作时域和示教约定,并针对抓取放置任务区分数据覆盖与模型容量。结果显示,扩大示教覆盖使留出的末端执行器误差降低30%;引入推而非抓等次级技能可带来新行为模式且不降低基线性能。真机闭环实验表明数据集构成会影响任务成败。
论文提出 RoboCode,用共享的软门控基元动作接口学习跨任务复用的短时程动作模式:每个动作块被表示为多个已学习基元的软组合,而非单个离散编码;该接口从多任务汇集的动作块中学习后冻结,再训练任务特定的状态编码器将状态映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,编码激活分析显示跨任务存在结构化编码复用;闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和更大规模 Diffusion Policy 基线的 41.6%。
研究团队发现 OpenVLA 激活的稀疏自编码器(SAE)表征含有可预测任务结果的信息,能在机器人进入不可恢复状态前预测失败。他们识别出强激活与成功或失败特定阶段对应的单个 SAE 特征,并通过定位特征激活显著变化的时间区间归纳出反复出现的行为模式。团队还构建基于 VLM 的解释流程为这些模式生成行为描述,并在留出区间上验证描述与特征激活的对应关系。
研究将测试时训练(TTT)集成到InternVLA-A1与Pi0.5中,通过配对的人类演示与机器人轨迹训练,研究以演示为条件的动作生成,并实现两阶段间的记忆迁移与截断反向传播。实验覆盖视频、短视频与单帧线索任务,考察训练目标、梯度覆盖与对比正则化。在当前规模下,加入TTT并用配对数据训练,未能带来基于演示的一致目标选择;更短序列、全轨迹梯度连通与对比正则化也未明显提升对演示的响应;演示缩减为单帧线索时,真机执行仍偏好固定位置的杯子。

