研究提出 AW-0 框架,在统一的混合Transformer架构内将代码、未来视频与机器人动作作为三条耦合生成流联合建模,代码专家生成参数化技能例程与控制逻辑,视频与动作专家分别生成未来视觉状态和底层运动指令。配套的自动化数据整理流水线为机器人和人类视频轨迹标注对齐程序,并把重复例程整合为可复用技能库。在 RoboTwin 2.0 与真实双臂操作任务上,其任务性能优于 VLA 和 WAM 基线,语言遵循、语义推理与鲁棒性也有提升。
机器人行业洞察
今日精选
The robotics journal行业消息
该论文提出 ASTEROID 学生-教师监督学习框架,用于在部分可观测条件下学习测试时探索行为。学生先在部分可观测环境中采集在线策略上下文,特权专家再基于该上下文给出动作标签,学生通过蒸馏这些标签学会在不确定时搜索、在隐状态揭示后利用。在 11 个环境(含离散探索基准、机器人操作、导航、Procgen)中,固定探索预算下回报约为基线 2 倍,交互次数比强化学习基线少约 100 倍;方法还将仿真策略迁移到无视觉的真实机器人操作,成功率比标准蒸馏提升 40%。
研究提出 TARSphere 全栈框架,在物理模拟器中运行机器人策略,并引入具身 NPC 与受限对话,通过事件驱动有限状态机依据已完成动作和已传递信息更新任务状态。其 TARSphere-Harness 让冻结的多模态大模型通过多级可执行技能、分层记忆与执行反馈修正决策。基于此构建的 TARSphere-Bench 覆盖 30 个室内场景、360 个回合,设五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作与意图理解。对 8 个 MLLM 的评测显示通用模型可优于具身模型,任务更新与人机交互仍困难,频繁碰撞与跌倒表明需同时评估执行安全。
研究团队提出 RISE 方法,让人形机器人在推理阶段按任务目标引导跌倒后的起身方式,而非仅追求可靠站起。该方法学习一个由感官反馈连接意图运动与电机动作的恢复词汇表,并用视觉扩散规划器从词汇表执行数据中预测未来身体状态作为运动意图,再由任务代价将预测导向期望朝向、起身速度或路径,生成条件化运动潜变量。仿真实验显示多样化恢复、地形适应与无需重训练的测试时引导,并在宇树 G1 上完成真实世界演示。
DONIC 是首个跨操作类别与人体运动来源联合训练的通用双臂灵巧跟踪器,配套发布 BiHOI 多视角数据集,含 1,575 条序列、覆盖 229 个物体,重建交互被重定向为机器人参考。方法将近端策略优化与行为克隆置于反馈循环中,把验证成功的执行回收为训练演示,并以物体为中心的每手奖励和 Clip-Centered Advantages 支持单一策略跨异构参考学习。无需微调,单个检查点在训练物体未见轨迹上成功率 86.79%,留出物体上 57.32%,分别超过最先进双臂跟踪基线 77.36 和 45.73 个百分点。
研究提出 SP-HLM 框架,以五个任务关键身体姿态加学习到的潜在运动先验构成稀疏姿态接口,替代单一动作表示。其中 SP-VLA 视觉-语言-动作模型通过异步动作分块推理,从多模态观测与语言指令预测稀疏姿态和手指关节位置;SP-MGM 经两阶段蒸馏训练,实时重建全身运动;预训练运动编码器将其映射为紧凑潜在表示;SP-GMT 通用运动跟踪器融合显式稀疏目标与隐式运动先验完成全身控制。仿真与真实人形机器人实验显示,其运动跟踪、全身协调和移动操作成功率优于现有方法。
该研究提出一种主动感知框架,让高自由度移动机械臂在导航过程中用手部相机检查不确定或安全关键区域,以应对机器人两次到访之间场景半静态变化导致的地图过时与碰撞风险上升。方法上采用概率化、物体与任务感知的下一最佳视角(NBV)公式,优先观测期望路径附近及不确定或可能变化物体周围区域,并将其集成进分层任务模型预测控制(HTMPC),利用运动学冗余调整视角,同时保持基座轨迹跟踪的更高优先级。系统将导航、地图维护与主动感知统一为闭环。真实世界测试显示,相比被动或非任务感知基线,地图一致性提升、任务相关地图熵降低、导航风险下降;仿真与真实序列进一步验证了对受控半静态场景变化的响应。
HuMiT 全身遥操作策略仅以根高度、根速度及当前帧四个稀疏关键点的 SE(3) 位姿作为参考目标,在跟踪保真度上与使用完整关节位置、稠密身体部位变换及未来帧的方法相当。系统从头显串流到策略输出的通信到推理延迟约 20 ms,基于视频的光流延迟中位数为 65 ms。作者在 Unitree G1 人形机器人上验证了接住抛来球体等亚秒级反应及协调移动-操作能力。
研究提出事后核方差头(post-hoc kernel-variance heads),从单个 VLA 策略的嵌入估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合无需回归目标或梯度更新且不改变策略。在 LIBERO-10 上用 SmolVLA 测试,其与双策略集成分数在任务级相关性、主动学习演示获取和转介监督策略上表现相当;视觉-语言骨干上的头将不确定性评分时间最多减少约 50 倍。研究还指出 LIBERO-10 既有评估协议主要奖励任务间覆盖差异识别,执行变异性削弱任务内排名评估,受控扰动可作为补充评估。
论文提出RangeNav,一个仅183k参数的激光雷达距离图像编码器,完全在合成数据上预训练,采用各向异性卷积与循环填充处理距离图像的极端长宽比和方位角接缝。预训练目标结合距离重建、语义分割与鸟瞰图(BEV)预测,随后冻结编码器用于强化学习策略。仿真中,加入语义与BEV监督相比仅重建基线,在程序生成训练环境和分布外真实测试环境成功率分别平均提升32.03和23.73个百分点。在Unitree B2-W四足机器人上零样本部署,可在密集人群、低光与施工区域导航。代码与模型将开源。
论文提出OMAR流程:视觉语言模型为未知物体生成标签及内容、包装类型等属性,经分割、深度与多视图关联完成跨视图定位,构建实例级3D场景图;再由LLM在该表示上推理货架潜在组织方式,对场景一致的放置位置排序,无需用户提供偏好,排序结果用于后续几何与运动学可行性检查。实验显示,该方法在实例映射与放置一致性上优于单视图语言定位和仅几何基线,可在无预定义物体-容器映射、无类别特定重训练的情况下自主放置未见物体。
arXiv 2610.29829v1 提出将物理AI的零样本泛化定义为对部署分布的覆盖,并指出同一采集者的更多样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。作者据此提出机器人动作共享潜在空间,结合多模态对齐、生成式增强与噪声标签学习,并以标准易用机器人 Origami 上的开发者社区作为多样数据来源,最后给出将真实机器人零样本成功率与数据多样性关联的可检验假设和评估协议。
SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作:对每段视频重建场景几何并估计手部运动,用手部尺寸先验在视频级尺度上对齐二者,重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何,预测未来场景几何与手腕、手指动作,并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后,该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分,在六个真实双手灵巧任务上高 38.3 分;匹配比较下,用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。
作者提出非参数化因果交互接地框架 CausGround,将交互经验蒸馏为以动作为中心的因果知识,识别动作前置条件与效果并以分解式世界状态表示组织。在适配的 VirtualHome 与 RoboCasa 基准上,基于视觉的高层规划平均任务成功率由 24.9% 升至 53.3%,闭环规划成功率由 43.0% 升至 57.0%;SWITCH 上交互推理准确率由 25.8% 升至 31.9%。真实机器人实验显示其可从 MLLM 解释的目标反向推导可执行高层动作序列,且无需参数更新。
一篇arXiv新论文(arXiv:2610.29677v1)将递归自我改进(RSI)概念引入机器人学习,梳理从提升机器人能力到改进能力生成过程的路径。作者指出,物理世界的RSI需通过代价高昂的试错从部分观测中学习,并应对运行条件变化与不可逆后果;收益延续需满足四个条件:反馈针对剩余学习需求、接收组件能利用该变化、价值在任务或硬件变化后仍成立、持续实践安全可负担。现有研究集中于操作任务,已支持行为改进、对后续学习的助益与过程改进,但尚无物理研究分离出可归因于递归的收益。
FlowVLA 将运动生成与物理补全估计分离:共享 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒与返回,另一与目标无关的估计器融合视觉、关节、腕部力/力矩及循环力信念历史来估计已转移质量,当估计值加预测残余流出量达到请求质量时触发返回。在咖啡壶/水实验中,其目标均衡平均绝对误差(MacroMAE)为 13.1 g,低于所有测试的 VLA 基线;全部尝试中 53.7% 既完成任务又将最终质量控制在请求值 ±10% 内。同一模型无需重训即可插值到留出的 150/250 g 目标,独立训练模型还在另外三种容器-流体设置中验证了该公式。
论文提出Reading the Room(RR)方法,将尺度模糊、稀疏、语义化的VSLAM地图配准到部分建成的二维楼层平面图,用于机器人施工进度跟踪等场景。方法核心是单一可微、类别平衡的语义-几何能量函数贯穿全流程,并提供两种全局初始化:利用单个不准确用户对应关系,或用跨模态匹配网络全局估计。在三个活跃施工现场的33个序列上评测,一般无约束设置下平均绝对轨迹误差较最强基线改善4.5倍,提供锚点时改善7.6倍。
arXiv 2610.29568v1 提出 ContactFlowFilter,用粒子滤波的递归结构处理状态时间依赖,并以流匹配模型作为辅助提议分布跟踪多模态信念、检测接触增删事件,解决仅靠关节力矩与基座力/力矩传感器的机械臂接触估计逆问题。真实实验中单接触与双接触位置误差分别为 0.36 cm 和 0.88 cm,运行耗时 0.69 ms 与 2.69 ms,仿真与实机均完成验证。
研究提出一种轻量落脚点预测模型(FPM),仅用本体感觉和速度指令预测未来落脚点,并只在预测落脚点周围的小块区域采样高程图,从而在策略输入前剔除冗余地形信息。FPM 与行走策略联合训练,并随步态成熟定期用新 rollout 重训。该方法达到给定地形难度所需训练迭代约为使用完整高程图的 1/3,在落脚点稀疏的狭窄围墙走廊和未见地形上优于完整高程图策略,性能与数倍成本训练的注意力编码器相当。策略零样本迁移至 Unitree G1 人形机器人,在室内外穿越障碍、楼梯、间隙和下行台阶。
研究提出SERA(自进化机器人智能体):将高层VLM组织为机器人智能体,通过可编辑执行框架维护任务上下文,并用观测与执行反馈更新上下文以指导后续规划;低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订,选定配置在留出测试前固定。在RoboMME基准上,SERA自主选择配置的总体成功率为51.38%,无自进化时为44.38%。

