Thinker-WM：面向具身智能、共享多模态表示的统一世界模型
提出统一多模态世界模型 Thinker-WM，用共享 Transformer 联合建模 RGB、深度与机器人动作，支持多种生成与策略推理功能，并在三个具身世界模型榜单排名第一。
发布于 10-21 14:11来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence》查看原链
世界模型已成为具身智能的一种有前景的范式，但现有系统在所建模的模态和所支持的功能上往往彼此割裂。 具体而言，视觉动态、几何结构与可执行动作通常通过独立接口或下游模块耦合，而非在共享的动力学模型中联合表示与演化。 在本工作中，我们提出 Thinker-WM，一个统一的多模态世界模型，通过共享的中间 Unified Dynamics Transformer 以及模态特定的编码器与解码器，联合建模并生成 RGB、度量深度与机器人动作。
该模型在表示层面实现多模态统一：外观、几何与动作被转换为共同的动态表示，并由共享参数联合演化，同时保留各自不同的输出结构。 同一套参数化支持多种功能，包括视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学。 为检验共享表示是否捕获了动作相关信息，我们引入一个轻量运动探针，表明冻结的视觉表示中包含可恢复的运动信息。
Thinker-WM 在异构语料上训练，包括约 2 万小时的自我中心视频、1 万小时的真实机器人数据和 1 千小时的仿真数据，其中约 4 千小时的真实机器人数据带有对齐的深度监督。 大量实验表明，该模型在具身世界模型评测中表现强劲。 Thinker-WM 在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一，对照研究进一步证明了动作条件化、几何交互以及共享表示内多功能训练带来的收益。