论文提出 Real2Sem2Real 流水线，将一段人类演示的单目 RGB 视频转化为覆盖同类语义物体实例的数千条机器人演示。方法用 DINOv3 蒸馏的高斯泼溅跟踪物体 SE(3) 位姿，称优于现有方法和结合估计度量深度的 FoundationPose；再通过语义对齐把由少量照片生成的数字“表亲”与演示物体及其功能区域（如咖啡机托盘）匹配，并将人手映射为可延伸至这些物体的机器人抓取。演示在 IsaacSim 或 MuJoCo 中生成，约两小时可产出超 2,000 条轨迹；在两台真实机器人、四个任务上，用每任务一段人类视频训练 VLA 策略，表现达到或超过遥操作数据训练的策略。
机器人行业洞察
今日精选
The robotics journal行业消息
研究提出 inr2action 参数空间记忆框架：对每个机器人操作片段的视频拟合神经隐式表示，权重增量即作为该片段的记忆，且增量大小固定，不随片段帧数（一百帧至十万帧）变化。学习得到的投影器把权重增量映射为 token 嵌入，分别条件化语言模型做问答、条件化解码器做关节命令回归，查询时无需检索原始帧。在 RoboMME 上语言模型各题型均超随机水平，解码器平均 R² 为 0.51；将增量替换为匹配噪声后性能下降 11.4 个点，随机初始化权重无法解码。
研究提出EMMA框架，结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频，支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练，并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中，相比仅用真实数据训练，性能相对提升超92%，加入AdaMix后额外提升17%。
论文提出 Gibson 虚拟环境，用于为主动智能体开发真实世界感知模型。Gibson 基于对真实空间进行虚拟化，而非使用人工设计的空间，目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内部合成机制“Goggles”使训练好的模型无需进一步域适应即可部署到真实世界，并对智能体进行具身化，使其受到物理和空间约束。
arXiv 1804.08328v2（replace-cross）提出一种完全计算化的方法，对26种2D、2.5D、3D与语义视觉任务在潜空间中求解一阶与高阶迁移学习依赖关系，生成一张任务迁移学习的计算分类学图谱。作者利用该结构中的非平凡关系降低标注需求：求解10个任务所需的有标注数据点总数较独立训练减少约2/3，性能基本持平。论文同时提供计算与探查该结构的工具，包括供用户设计监督策略的求解器。
WorldScape Policy 2.0 提出一种带推理增强长短期记忆的可控世界动作模型：因果短期视觉记忆把近期观测作为 DiT 预填充，长短期事件记忆将历史 VLM 输出组织为全局历史、局部活跃与事件边界表示用于进度感知检索，检索结果增强感知与自回归规划 token 形成隐式子目标条件，语义强制把事件级指令语义注入潜在规划通路。作者同时构建 ManipEvent-5M 具身预训练数据集，含近 500 万个事件片段及对齐动作轨迹、回合级任务指令、片段级子任务描述、目标图像与视频演示。仿真与真实平台实验显示其在长时程自主规划、细粒度指令跟随与上下文适应上表现更优。
研究提出模块化方案：在真实世界接触密集片段自主采集密集数据，再用离线强化学习训练局部策略，并与传统运动规划结合完成长时程装配。四个真实任务中仅用2–2.5小时自主采集数据，长时程任务平均成功率96%，仅规划基线55%、最强端到端基线37%；局部策略施加力降低49%，场景级分布外场景成功率仍达90%，共完成超1500次真实世界评估。
英伟达PAR实验室提出JCA模型，为任意骨架同时生成视频与可回放的3D运动，并生成将运动配准到场景的相机。方法上把3D运动放在支持任意骨架的独立模型中，通过少量交叉注意力层连接预训练视频模型，使运动模型可先用纯运动数据学习；模型还学习在视频帧中定位关节以恢复相机。训练数据由生成式视频编辑器把动画3D资产放入匹配场景构建，结合人类与机器人视频共近20万训练对。评估称其从文本驱动多样骨架的保真度优于视频优先流水线，并支持视频与骨架运动互转及关键帧控制。
该研究提出PanoGraphGS框架，在共享高斯几何上联合学习语义与实例特征，通过基于原型的语义学习和基于关联的实例学习实现跨视角一致的全景预测，并支持新视角全景分割与高斯级全景解码；语义感知场景图模块可恢复楼层-房间-背景物-物体的层级及包含与空间关系。团队同时发布真实世界全景场景理解数据集NaviGS，含3DGS、网格、RGB、语义与深度数据。在Replica和NaviGS上，其物体节点准确率平均超过最强基线50个百分点以上，2D全景分割亦为所评估方法中最优。
针对在线LiDAR-相机标定中因训练数据外参多样性不足导致的“数据集捷径”问题（网络过拟合固定标称外参、实机泛化差），研究者提出数据生成框架SynCalib：利用带深度真值的全向图像数据集，在严格外参约束下合成多模态标定数据。实验显示合成数据提升了典型学习型标定网络的泛化性与鲁棒性，并在多种相机-LiDAR配置的真实场景中验证了仅用合成数据训练模型的零样本迁移能力。数据生成代码、预训练模型与在线基准数据集将公开。
arXiv 论文 HuTact 提出从大规模人类手-物交互（HOI）数据预训练触觉感知手部表征，预训练阶段不使用真实触觉信号，再将人类手部运动中的交互结构迁移到机器人触觉观测，并可用少量无标注机器人交互数据适配。在抓取预测、滑动检测、物体分类和触觉条件策略学习任务上，HOI 预训练提升了数据效率。抓取预测中，经 HOI 预训练并在无标注机器人自由交互数据上中期训练后，仅用 25% 下游标注数据即达 88.26% Macro-F1，与全量标注从头训练的 88.23% 相当。
研究团队提出遥操作界面PointHand，将多指机器人手渲染为指尖与关节的稀疏关键点，与策略可观测的关键点一致。在模拟的“杯中取物入盒”任务中，18名新手与4名专家在三种渲染方式下共采集2200次试验：看到仅强调拇指和食指的新手从600次试验中获得441次成功示教，而看到真实手形的新手为320次。用这些示教训练扩散策略并将观测替换为手部关键点与两个物体关键点后，400步内该条件从点云策略下三种新手条件中最弱的46.3%升至关键点策略下最强的57.3%，五个随机种子均提升11.0个百分点；强调全部关键点的示教变化至多+0.7个百分点。
研究提出以智能体为中心、物理感知的框架，从NGSIM US-101、highD、exiD多源轨迹数据中发现跟驰法则，得到自适应均衡响应模型（AERM），将状态依赖的相对速度响应与间距依赖的均衡速度恢复相耦合。AERM具有解析的均衡速度-间距与流量-密度关系，并推导了零延迟形式的稳定性条件。在上海自然驾驶数据、NGSIM I-80和Waymo轨迹上对比七个经典跟驰模型，AERM在轨迹特定校准下间距RMSE分别降低9.11%、7.59%和21.73%，在数据集级共享参数下仍具竞争力。
论文指出，在成功的目标导向演示上训练的动作条件视频生成模型会忽略动作指令，原因在于训练数据的动作影响不足，并证明数据本身构成模型可表达动作影响的上界，专家演示的狭窄动作分布使该上界偏低。作者提出主动采集数据的 Action Influence Maximization（AIM）算法，在仿真导航与操作任务中与探索启发式、内在动机方法对比。在基于像素的操作任务中，AIM 是唯一持续提升可控性的方法：在 3k 条演示基础上新增 500 条主动采集回合，其末端执行器可控性即达到用 300k 条专家回合训练的世界模型水平，数据量减少 85 倍。
一位开发者搭建了用于标注工厂视频的开源工具生态，服务于机器人训练数据生产。据其描述，单条视频片段的标注耗时从原始素材的40-50分钟降至约5分钟。原文未披露工具名称、技术栈、数据集规模及开源许可证等细节。
介绍一款微型RGB-D记录仪，并在射线投射的手-物场景中对比立体视觉、dToF与iToF三种深度感知方案。