FlowVLA 将运动生成与物理补全估计分离:共享 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒与返回,另一与目标无关的估计器融合视觉、关节、腕部力/力矩及循环力信念历史来估计已转移质量,当估计值加预测残余流出量达到请求质量时触发返回。在咖啡壶/水实验中,其目标均衡平均绝对误差(MacroMAE)为 13.1 g,低于所有测试的 VLA 基线;全部尝试中 53.7% 既完成任务又将最终质量控制在请求值 ±10% 内。同一模型无需重训即可插值到留出的 150/250 g 目标,独立训练模型还在另外三种容器-流体设置中验证了该公式。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出Reading the Room(RR)方法,将尺度模糊、稀疏、语义化的VSLAM地图配准到部分建成的二维楼层平面图,用于机器人施工进度跟踪等场景。方法核心是单一可微、类别平衡的语义-几何能量函数贯穿全流程,并提供两种全局初始化:利用单个不准确用户对应关系,或用跨模态匹配网络全局估计。在三个活跃施工现场的33个序列上评测,一般无约束设置下平均绝对轨迹误差较最强基线改善4.5倍,提供锚点时改善7.6倍。
arXiv 2610.29568v1 提出 ContactFlowFilter,用粒子滤波的递归结构处理状态时间依赖,并以流匹配模型作为辅助提议分布跟踪多模态信念、检测接触增删事件,解决仅靠关节力矩与基座力/力矩传感器的机械臂接触估计逆问题。真实实验中单接触与双接触位置误差分别为 0.36 cm 和 0.88 cm,运行耗时 0.69 ms 与 2.69 ms,仿真与实机均完成验证。
研究提出一种轻量落脚点预测模型(FPM),仅用本体感觉和速度指令预测未来落脚点,并只在预测落脚点周围的小块区域采样高程图,从而在策略输入前剔除冗余地形信息。FPM 与行走策略联合训练,并随步态成熟定期用新 rollout 重训。该方法达到给定地形难度所需训练迭代约为使用完整高程图的 1/3,在落脚点稀疏的狭窄围墙走廊和未见地形上优于完整高程图策略,性能与数倍成本训练的注意力编码器相当。策略零样本迁移至 Unitree G1 人形机器人,在室内外穿越障碍、楼梯、间隙和下行台阶。
研究提出SERA(自进化机器人智能体):将高层VLM组织为机器人智能体,通过可编辑执行框架维护任务上下文,并用观测与执行反馈更新上下文以指导后续规划;低层控制由固定的VLA执行器承担。自进化环节通过环境推演提出并评估框架修订,选定配置在留出测试前固定。在RoboMME基准上,SERA自主选择配置的总体成功率为51.38%,无自进化时为44.38%。
研究提出 QSelect 压缩方法,将 AWQ、GPTQ、AutoRound 三类量化检查点按线性模块组合为单一静态低比特模型,并以最终下一词分布打分决定替换。在 DeepSeek-R1-Distill-Qwen-7B、Llama-3.1-8B、Llama-3.2-3B 的 3/4 比特六种设置中,组合模型留出困惑度均低于任一单一家族模型;目标适配模式使两个 Llama 模型 3 比特汇总准确率分别提升 4.3 和 4.5 个百分点。3 比特下未量化嵌入与输出层占打包产物 43-46%,评估仅在地面 GPU 通用基准完成,太空任务与飞行硬件未验证。
该论文提出 PRISM 框架,将真实深度传感器的单一噪声解耦为「传感失效」与「测量不准确」两类物理模态,并蒸馏 3D 视觉基础模型特征作为空间-语义先验用于物理推理;针对失效区域稀疏与类别不平衡,采用分层正样本优先监督与动态难例挖掘。基准测试称其在噪声深度合成保真度上达到当前最优,下游真实机器人实验平均成功率为 92.1%,高于单一噪声建模基线。
该论文提出将基于流匹配的路径规划与模型预测路径跟随控制相结合的框架:流匹配模型从演示中学习多模态路径分布,预测控制器利用实时更新的局部传感器信息在线调整运动,以满足状态与输入约束并避开障碍物。框架还引入事件触发的重规划机制,把预测控制的解反馈到后续路径生成中,从而在出现此前未见障碍物的环境中实现无碰撞导航。移动机器人导航仿真结果显示,该框架在杂乱环境中性能稳健。
研究提出 PAL(Plan first, Act Later)分层记忆框架,用于视觉-语言机器人操作,包含短期视觉缓冲、语义事件记忆和可执行 subtask_list。高层 VLM 将流式视觉观测转为 subtask_list,执行时选取当前相关子任务交给底层 VLA 策略;配套两阶段数据生成,先扩展稀疏更新监督,再用任务落地验证的自标注生成训练数据。在 RoboMME 上成功率达 56.05%,超过最强基线 FrameSamp-Modul 的 44.51%;四项真实操作任务总体成功率 60.83%,高于 MemER 的 45.00% 和 FrameSamp-Modul 的 28.33%。
针对世界动作模型(WAM)的视频与动作目标未显式约束三维几何、而逐点对齐三维基础模型特征又会过度约束紧凑动作特征的问题,论文提出关系几何强制(RGF):从冻结的三维基础模型迁移几何先验,对齐成对特征关系而非逐点特征。RGF 包含帧内、跨视角、动作-时间三个互补关系目标,仅在训练阶段使用,无需显式几何分支或额外推理模块。仿真与真实世界实验显示,在多种操作场景和 WAM 范式下均取得一致增益。
该论文提出DepState-JEPA,一种基于V-JEPA 2.1的双流RGB-深度联合嵌入预测架构,通过共享潜在状态DepState将空间理解与动作条件预测连接。深度既作为互补观测流,也用于将两种模态锚定在度量三维空间中;射线条件读出无需目标深度即可预测局部特征,动作条件转移后同一解码器预测未来RGB与深度特征。机器人状态读出提供递归本体感受输入,物体轨迹监督与校准正向运动学通过运动目标和关节-TCP一致性塑造状态学习。对比显示RGB-D适配后RGB编码器迁移、特征补全、条件视觉预测和操作成功率均有提升,消融实验识别出深度内容、度量坐标、未来状态匹配的贡献及FK正则化的额外控制增益。
论文提出TIDE(Training In DEployment)人在环在线后训练系统,用来源条件监督学习框架从部署期间的人类干预和策略rollout中在线更新策略,不需要学习critic、奖励模型或动作评分器。在四个真实双臂操作任务上,TIDE在里程碑归一化任务进度和全任务完成率上超过热启动策略及匹配的额外离线演示,与固定策略采集基线相当,且部署期间即可提供更新检查点。每个任务的后训练会话从rollout开始到最终检查点可用不到一小时,学习与检查点处理异步进行。
研究提出SimPT仿真框架,将策略推演、纠正数据采集、策略训练与独立评估整合,实现基于干预的VLA后训练自动化。其Agent-Compiled Progress Graph利用仿真器特权状态跟踪任务进度并保留稳定快照,失败后由CuRobo专家从快照尝试恢复,使恢复尝试次数较固定间隔基线减少75.0%,恢复成功率从93.4%升至98.9%。在七个RoboTwin操作任务上比较RECAP、HG-DAgger、DPO+SFT、FlowPRO四种方法;改进版RECAP-CF-LPF在留出仿真试验中把成功率从76.50%提升至79.36%,在真实机器人以太网线插入任务25个场景中从72%提升至96%。
研究比较了不同生成骨干下世界动作模型(WAM)的泛化性能差异,提出以“冗余正交性”量化表征先验:特征在经验分布内流形之外的视觉变化下保持正交的程度。在多种图像与视频骨干上的实验显示,表征先验的正交性越高,WAM训练后对视觉变化的鲁棒性越强,并可在训练前前瞻性预测策略泛化能力。对鲁棒WAM的分析还发现冗余抑制现象,即对视觉变化引起的特征位移的相对抑制与鲁棒动作生成同时出现。
研究提出 SLoSa 神经-符号压缩与微调框架,用经典规划器、教师 LLM 和形式化验证器构建安全感知数据集,再经监督微调与验证奖励机引导的强化学习训练小型机器人任务规划器。在四个 PDDL 领域上,4B-14B 模型成功率提升至 70.5-76.0%;INT4 部署于 Jetson Orin 平均功耗 17.85-26.41 W。家庭仿真环境与桌面机械臂实验验证了适用性。
论文提出 COWBOY 仿真到现实框架,用于学习移动操作机器人的上下文全身操作。该方法不直接在仿真中用强化学习学习场景适应,而是用向量化的环境感知全身控制器(WBC)在数千个场景中协调底盘-机械臂运动、避障与主动视觉完成到达;再在局部场景训练可跨数千种全场景布局复用的局部强化学习专家,并将 WBC-RL 教师蒸馏为单一视觉策略,由点云观测控制移动底盘、机械臂、灵巧手与可驱动相机。该策略在全身灵巧抓取任务上零样本迁移到数百个物体及杂乱桌面、货架、抽屉等非结构化场景,可自动调整底盘位置、相机视角、机械臂轨迹与抓取策略。
该研究提出将偏好奖励响应性(PRR)与覆盖率、效用指标结合,用于评估可操控人形控制中偏好条件强化学习的聚合方式。作者在两个类人控制框架上比较了奖励级、优势级、损失级和基于 PCGrad 的聚合,发现没有一种聚合层级在所有环境和标准上表现最佳:早期聚合目标会带来更广泛的行为响应,但对其他目标的非预期改变更大;较晚聚合则提高控制精度,但以响应性为代价。
研究提出Context-Aware Navigation Explanation框架,用大语言模型将感知上下文与规划的未来轨迹结合,生成导盲犬避障与导航动作的自然语言解释,并在Unitree Go2平台上于室内导航场景部署。实验评估不同解释上下文配置对用户信任与解释满意度的影响,结果显示二者呈强正相关,且将障碍物信息与未来轨迹结合的解释效果最佳。
MIT团队提出FLEX(Flexible Feature Editing Pipeline),利用语言模型根据自然语言纠正迭代优化机器人对任务特征的内部表征,包含三个互补操作:添加缺失特征、泛化已有具体特征、屏蔽无关特征。研究在2D导航、7自由度Franka桌面操作任务以及使用自然语言纠正与真机演示的真实世界研究中评估FLEX;与单操作及无脚手架基线对比显示,交互场景中三项操作均属必要,FLEX在保持紧凑可迁移表征的同时取得更高归一化奖励。
论文提出 Real2Sem2Real 流水线,将一段人类演示的单目 RGB 视频转化为覆盖同类语义物体实例的数千条机器人演示。方法用 DINOv3 蒸馏的高斯泼溅跟踪物体 SE(3) 位姿,称优于现有方法和结合估计度量深度的 FoundationPose;再通过语义对齐把由少量照片生成的数字“表亲”与演示物体及其功能区域(如咖啡机托盘)匹配,并将人手映射为可延伸至这些物体的机器人抓取。演示在 IsaacSim 或 MuJoCo 中生成,约两小时可产出超 2,000 条轨迹;在两台真实机器人、四个任务上,用每任务一段人类视频训练 VLA 策略,表现达到或超过遥操作数据训练的策略。

