研究团队提出 PlayPolicy（DSP）框架：机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略，再自主运行数小时采集交互数据训练世界模型；推理时该策略为模型预测控制（MPC）提出候选动作序列，由世界模型评估，并可用世界模型内自我对弈蒸馏闭环目标条件策略加速推理。在仿真与真实世界的多指手欠驱动推动和任意到任意手内姿态重定向任务上，真实实验成功率比事后行为克隆高 69.6%，交互数据量比强化学习少 490 倍而成功率相当，且无需任务特定演示或 sim-to-real 迁移。
机器人行业洞察
今日精选
The robotics journal行业消息
该研究提出 UniManip 框架，以智能体操作图（AOG）作为任务编排、状态跟踪、执行验证与闭环失败恢复的显式认知与操作主干。高层语义意图经物理接地场景图转化为可执行原语，该场景图提供几何可供性、接触感知交互参数与无碰撞轨迹合成。框架将高层智能体层与低层场景层耦合，从非结构化感知实例化以物体为中心的场景图，经安全感知局部规划器参数化为无碰撞轨迹，并利用结构化记忆自主诊断与恢复执行失败。在 LIBERO-Pro 上取得最优性能，真实世界实验显示跨任务、跨本体与跨灵巧手的零样本泛化，任务成功率分别超过领先 VLA 模型和分层基线 22.5% 与 25.0%。项目页面已开源。
arXiv 10 月新投稿提出 DEX-PHD 便携式手持数据采集设备，集成灵巧机器人手、逐指连续控制与多模态记录，操作者通过关节级映射直接控制机器人手。系统同步记录本体感知信息、指尖接触数据和腕部相机视频，无缆设计支持在多种环境中采集数据。作者在需要多指协同的富接触任务上验证该设备，并将采集的示范以开环回放方式部署到实体人形机器人上，结果显示回放保留了手指运动的主要时间模式与任务相关接触。
研究提出 ARPG 方法，将动作表征学习与动作生成分离：先在大规模人类操作数据上预训练动作表征编码器，再冻结编码器，训练 1.3 亿参数的生成主干网络，在表征空间中学习任务条件动作分布。在 DexJoCo 基准上取得当前最优性能，双臂灵巧操作平均成功率从 π_{0.5} 的 10.1% 提升至 44.7%。扩展实验显示，更广泛覆盖人类操作行为可有效提升下游性能，作者据此认为动作表征预训练为复杂灵巧操作提供了独立的扩展维度。
论文提出EXE，一种自我中心跨具身（Egocentric Cross-Embodiment）预训练框架，从人类第一视角操作视频中学习因子化潜在动作表示，将共享的操作先验与具身特定信号分离。作者认为人手与机器人共享伸手、抓取、放置等操作基元，但运动学因具身不同而存在差异，因此需解耦人类特有运动模式以避免干扰机器人策略学习。该方法使同一预训练可同时受益于平行夹爪与灵巧手，在RoboTwin 2.0、RoboCasa GR1及真实世界操作任务上相对无预训练基线取得一致提升。
一篇综述统计了113种基于学习的灵巧手操作方法，发现该领域已基本收敛到同一范式：在GPU仿真器中基于特权状态做强化学习，再蒸馏为仅依赖视觉的学生策略迁移到硬件；近一半语料采用该路线，且几乎全部集中在一个仿真器中，其后续版本鲜少被使用。另一条增长更快的分支从遥操作演示学习，采用视觉-语言-动作模型、扩散策略，或贡献在于采集装置本身的系统。已发表工作自2022年以来增长两倍，抓取为最大任务类别，双臂协调增长最快，几乎所有实验集中在四种手上。综述还指出，八种可购买或按公开设计制造的手未出现在任何方法论文中。
论文提出多约束灵巧策略优化方法MDPO，将灵巧操作建模为同时包含累积代价约束与逐状态代价约束的多约束策略优化问题，并把多约束投影集成进策略优化过程：用约束特定的策略投影，把最大化任务性能的中间策略映射到两类约束定义的可行域。在ReDMan平台的关节安全控制、手指安全与抓取任务实验中，MDPO相比基线约束满足更优，任务性能保持竞争力，代码已公开。
研究团队在 Shadow Dexterous Hand Lite 上仅用本体感觉和二值触觉反馈（无视觉）完成保定球旋转的零样本仿真到现实迁移，单次连续试验实现 225 次连续 180° 旋转（112.5 整圈），速度约 0.36 转/秒。方法包括传感器对齐的耦合感知仿真具身建模、触觉校准，以及压摆率动作限制和 STuck-AT Taxels 两种回合级域随机化。论文还对比触觉与仅本体感觉的贡献，定位触觉信息最关键的手部区域，并称该结果为保定球操控在旋转次数与速度上的最强硬件报道。
DexPort 是面向高自由度机器人手的手持式便携数据采集接口，采集与部署使用同一套手部硬件以消除手部本体差异，同时记录指令关节目标与实测关节状态。操作者移动手持接口指定腕部运动，并通过选择或调整技能来协调手指运动，无需逐关节控制。研究团队在 4 项任务（多样物体抓取放置、手内工具拧螺丝、抽屉收纳、双臂扫描）中于实验室与野外采集超过 2,500 条演示，用行为克隆直接训练视觉运动策略。结果显示，使用记录的机器人指令替代状态使成功率从 11% 提升至 64%，使用野外数据使任务成功率从 36% 提升至 78%。
研究提出 P³-WAM 统一世界动作模型，面向第一视角灵巧操作，包含 Perceive（从视频重建关节手部运动与相机轨迹）、Predict（按给定动作生成视觉未来）、Plan（以初始图像、语言指令和可选视觉目标为条件，联合生成动作轨迹与预期视觉后果）三种模式。模型采用混合 Transformer 架构，将结构化三维动作表示接入预训练视频扩散 Transformer，共享基础权重并设模态特定适配与双向视觉-动作注意力，随机化模态可见性使视频与三维动作可作条件或预测目标。实验称统一训练在四项数据集的三维手部重建与动作条件视频预测上优于专用基线，生成的操作视频在指令遵循与动作推进上强于视频生成基线。
研究提出一个真实世界双臂灵巧抓取大尺寸物体的框架，包含采集关节角度、视觉观测与力信号的多模态数据集，基于去噪扩散概率模型（DDPM）从分割点云生成关节级抓取构型的模块，以及将运动规划与在线抓取细化结合的执行策略。该方法可从单视角输入合成可执行的双臂抓取，降低对完整三维物体模型的依赖。在双臂机器人上的实验显示，对几何形状与位姿各异的未见物体取得较高成功率，消融实验验证了各关键组件的贡献。
研究团队提出 OpenTac 触觉皮肤及配套全栈生态，核心是带结构化可变形覆盖层的电阻式触觉皮肤：相邻触觉单元差分响应解码局部剪切向量，共模响应编码法向力。配套 CAD 工具可从二维轮廓、可展开三维曲面乃至文本描述（如“为9码鞋垫设计传感器”）自动生成制造文件，并提供传感器仿真器、跨传感器迁移与自适应采集。团队在多种机器人形态上设计制造了30余个传感器，用商用高精度力/力矩传感器表征三维触觉场，并在四种真实机器人上验证接触密集型反馈控制与操作策略学习；1024触觉单元皮肤每次更新采样16个单元时，自适应采集读出速度比全阵列光栅扫描快19.2倍。
VecTile 是一种厚 6 mm 的柔性触觉阵列，通过压阻层与被动硅胶凸点将法向力和剪切力转换为可区分的压力图案，实现三轴力感知，4x4 阵列整套系统成本低于 35 美元，且无需专用设备即可自制。在法向力 1-5 N、剪切力最高 1.5 N 的单传感单元测试中，法向力与剪切力的均方根误差分别为 0.39 N 和 0.16 N；平坦状态下校准的传感器在弯曲后仍保持精度，五分钟手动校准即可满足实用。演示应用包括：剪切读数灵敏到可在接触后阻止手术刀刺破气球，以及显著改善 Diffusion Policy 引导的电源插头插入。设计与代码将在论文录用后发布。
论文提出支撑感知抓取合成框架 IORA，面向低自由度耦合手在不规则物体上的固定任务。方法将手与物体局部表面区域建模为图并搜索运动学可行匹配，再细化腕部位姿与电机状态，经物理仿真推演验证抓取；可选的任务引导局部搜索在验证位姿附近调整腕部与电机状态并按任务条件选优。多物体实验显示生成多种抓取构型，抓取成功率高且抗扰动强，真实实验在烹饪场景中实现物体固定。
该论文综述基于触觉的机器人操作研究，将其划分为力学驱动与数据驱动两条互补路径：前者通过接触力学和任务特定推理显式解读触觉信号，形成与操作相关的状态表征并影响机器人动作；后者直接从数据学习触觉表征与操作策略，涵盖模仿学习、强化学习、视觉-语言-动作模型和预测模型。文章先介绍触觉传感基础，再分别回顾两条路径的进展，最后讨论面向可扩展、可泛化、稳健的触觉使能机器人系统的开放挑战与未来机遇。
论文提出 PaceVLA 框架，用于解决 VLA 模型因从遥操作演示学习细粒度时间模式、需大量底层动作步而导致的执行时间效率低问题。该框架包含两个耦合组件：基于共享动作专家的模式特定动作解码器，支持多种时间粒度与预测时域；以及可量化性引导的模式选择方案和上下文条件路由器，在每个推理步判断粗粒度执行是否合适并选择执行模式。在三个多任务仿真基准和六个真实世界任务上，PaceVLA 在多种具身形态（含长时程与灵巧操作）中提升执行效率并保持任务成功率。
研究团队提出用柔性Fin Ray夹爪的形变做视觉力预测，替代部署阶段的力/触觉传感器。方法分两步：先在校准数据上训练视觉力估计器，为任务演示标注力估计值；再在增强力的演示上训练动作—力提议策略，联合生成候选动作及其预期力。测试时采样候选动作与预测力，执行预测力最接近演示目标力的动作。在浆果采摘、空罐抓取、手内重定向和插头插入四项任务上完成评估。
智元机器人发布 AgiBot World 平台，覆盖 5 个部署场景、217 项任务、超 100 万条轨迹，数据规模较现有数据集提升一个数量级；采集流程标准化并引入人工在环验证，可从夹爪扩展至灵巧手与视触觉传感器。基于该数据训练的通用策略 GO-1 采用潜在动作表示，在域内与分布外场景平均性能较 Open X-Embodiment 预训练策略提升 30%，复杂真实任务成功率超 60%，较 RDT 方法高 32%。数据集、工具与模型均已开源。
DONIC 是首个跨操作类别与人体运动来源联合训练的通用双臂灵巧跟踪器，配套发布 BiHOI 多视角数据集，含 1,575 条序列、覆盖 229 个物体，重建交互被重定向为机器人参考。方法将近端策略优化与行为克隆置于反馈循环中，把验证成功的执行回收为训练演示，并以物体为中心的每手奖励和 Clip-Centered Advantages 支持单一策略跨异构参考学习。无需微调，单个检查点在训练物体未见轨迹上成功率 86.79%，留出物体上 57.32%，分别超过最先进双臂跟踪基线 77.36 和 45.73 个百分点。
SpatialDex 框架从纯 RGB 人类视频中学习三维接地的双手灵巧操作：对每段视频重建场景几何并估计手部运动，用手部尺寸先验在视频级尺度上对齐二者，重建几何同时作为策略输入与预测目标。策略通过门控残差融合把预训练视觉-语言模型的 token 网格接地到该几何，预测未来场景几何与手腕、手指动作，并以双手手腕预测轨迹为条件生成手指运动。在 100 万个人类视频片段上预训练、少量机器人演示微调后，该方法在两种本体的九个仿真灵巧任务上比 SOTA 高 16.5 分，在六个真实双手灵巧任务上高 38.3 分；匹配比较下，用重建几何预训练比仅用手部运动预训练成功率提升 14.2 分。