LLM引导的未来假设用于多步机器人操作中的视野感知探索
arXiv 2605.29864v2 提出未来经验条件化（FEC）接口，将闭环策略条件化于短未来视频的潜在表示。未来片段分三阶段生成：LLM推理器在任务本体上推理、无机器人数字孪生推演物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。在RoboCasa和CALVIN上以BC与BC+RL实例化，对比NoFuture、GTFuture、GenFuture、WrongFuture四种条件及SFP基线：生成未来优于无未来条件，不匹配未来则降低性能，BC+RL整体最强；8个CALVIN任务上GTFuture提升最快，GenFuture早于且高于NoFuture，WrongFuture全程为零。
发布于 10-27 13:00来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《LLM-Guided Future Hypotheses for Horizon-Aware Exploration in Multi-Step Robot Manipulation》查看原链
多步机器人操作需要在场景将如何演变存在不确定性的情况下行动，这使得探索和策略适应具有挑战性。 我们研究短视野、任务一致的未来视频能否为控制和强化学习微调提供有用的结构化先验。 我们通过未来经验条件化（Future-Experience Conditioning, FEC）形式化这一想法，这是一种简单接口，将闭环策略条件化于短未来视频的潜在表示上。
在我们的仿真设置中，未来片段分三阶段生成：一个在由当前场景状态初始化的任务本体上运行的LLM推理器、一次无机器人的数字孪生对预期物体运动的推演，以及一个无掩码视频扩散模型，该模型在推理时无需分割即可合成与机器人一致的未来片段。 我们主要用BC和BC+RL实例化这一未来条件化接口，并在RoboCasa和CALVIN上，在NoFuture、GTFuture、GenFuture和WrongFuture四种条件下与未来条件化的流式流策略（Streaming Flow Policy, SFP）基线进行比较。
生成的未来相比无未来条件化提升了性能，而不匹配的未来则会降低性能，我们的BC+RL实例化取得了最强的整体结果。 对8个CALVIN任务的BC+RL平均学习曲线分析进一步表明，GTFuture提升最快，GenFuture比NoFuture更早提升且达到更高水平，而WrongFuture在整个训练过程中保持为零。
这些结果表明，短视野未来视频可以作为在 imperfect 未来预测下进行探索和策略适应的有用结构化先验。 https://enact2026.github.io/