Joints, Camera, Action! 为任意骨架协同生成3D运动与视频
英伟达PAR实验室提出JCA模型，为任意骨架同时生成视频与可回放的3D运动，并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中，通过少量交叉注意力层连接预训练视频模型，使运动模型可先用纯运动数据学习；模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建，结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线，并支持视频与骨架运动互转及关键帧控制。
发布于 10-22 10:56来源：arXiv cs.RO
转载 · 官方发布原文：arXiv cs.RO ·《Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs》查看原链
视频生成模型如今能呈现相当逼真的运动，但如何把这些运动用于像素之外——驱动特定3D资产并在其3D场景中回放动画——仍不清楚。 例如，视频模型能展示一只猴子跳过横杆，却无法把这次跳跃作为可回放的3D运动放回3D场景。 本文提出一个模型，可为任意给定骨架直接协同生成视频与3D运动，并同时生成将运动配准到场景的相机。
此前的视频-运动模型要么只处理人体骨架（常增加数十亿参数），要么从生成的2D姿态图三角化出3D运动。 我们改为把3D运动放在一个支持任意骨架的独立模型中，并通过少量交叉注意力层将其连接到预训练视频模型。 这种分离让运动模型先从纯运动数据中学习骨架如何运动，而这类数据比成对视频更易获取和增广。
此外，模型学习在视频帧中定位每个关节，从而恢复相机并把3D运动放入场景。 为跨多种骨架训练，我们使用生成式视频编辑器把动画3D资产放入与其动作匹配的场景，并筛选编辑结果以保证已知运动仍然有效。 结合人类与机器人视频，共得到近20万训练对。 评估表明，该模型从文本驱动多样骨架的保真度优于视频优先的流水线，且其运动能响应周围场景；它还能把视频转为骨架运动、把骨架运动转为视频，并支持对3D运动做关键帧控制。