arXiv 2610.29030v1 提出 PHD-Hand,一种完全连杆驱动的人形灵巧手,每根手指具备至少 3 个驱动自由度(DOA)。设计采用独特柔性铰链与弹簧钢弹性驱动杆,简化连杆传动,避免大量微型运动部件,可用低成本 3D 打印机制造,尺寸更接近真人手。研究对原型进行了抓取与物体操作评估,并给出运动学与控制方面的最新结果。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出 COWBOY 仿真到现实框架,用于学习移动操作机器人的上下文全身操作。该方法不直接在仿真中用强化学习学习场景适应,而是用向量化的环境感知全身控制器(WBC)在数千个场景中协调底盘-机械臂运动、避障与主动视觉完成到达;再在局部场景训练可跨数千种全场景布局复用的局部强化学习专家,并将 WBC-RL 教师蒸馏为单一视觉策略,由点云观测控制移动底盘、机械臂、灵巧手与可驱动相机。该策略在全身灵巧抓取任务上零样本迁移到数百个物体及杂乱桌面、货架、抽屉等非结构化场景,可自动调整底盘位置、相机视角、机械臂轨迹与抓取策略。
T-WLA 是一种世界-语言-动作架构,用共享视觉记忆同时驱动动作生成与触觉修正:视觉分支每次更新时把当前图像、任务指令与检索历史整合为视觉记忆,该记忆被缓存给轻量级触觉编辑器,后者结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。训练阶段以未来图像与未来压力预测作为辅助监督。在 EgoTouch 与 Tachin 的触觉条件手部运动预测上,手指关节 MPJPE 较最强已报告基线降低 30%;四个真实灵巧操作任务平均成功率约 50.0%。
PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。
论文提出 KITE 方法,将操作解耦为与具身无关的交互意图预测和具身特定的运动学解码,交互意图以接触模式为基础的学习表示连接。交互策略仅在源机器人演示数据上训练并在不同形态目标机器人间共享,运动学解码器则利用各具身运动学模型生成的合成数据学习。在仿真与真实世界的四项操作任务上,KITE 实现向结构不同目标具身的零样本迁移,覆盖平行夹爪、灵巧手与复合具身,并优于现有基线。
ZeroDex提出零样本长程灵巧操作框架,将语言指令从标定多视角RGB图像接地为可执行3D任务规划,输出接触点、放置目标和工具运动锚点等度量3D量。系统由VLM把复杂指令分解为原子任务,通过可复用原语库执行抓取放置与工具使用;工具使用检索物体中心原子动作并对齐6D工具轨迹,灵巧执行则将抓取关键点扩展为任务条件化抓取可供性区域并生成抓取-运动对。真实实验显示其3D接地精度与任务成功率高于单视角RGB-D的零样本视觉提示和约束基线,且无演示系统优于在100个任务演示上微调的VLA策略,并支持执行验证与重规划恢复中间失败。
提出 AdaDex 目标条件强化学习框架,将一段数秒的单手-物体轨迹(动捕数据或从野外 RGB(D) 视频重建的 HOI)转化为可适应灵巧技能。核心方法为混合灵巧模仿:共享策略同时在两类大规模并行环境上训练,一类用稠密运动跟踪目标注入人类先验,另一类用带噪声初始状态与目标及稀疏物体成功奖励迫使技能偏离参考。所得策略可完成功能性抓取、物体重摆、带手指步态的手内重定向及抛接等动态行为,在泛化性与功能性上优于基线,并实现跨仿真器迁移与真机迁移。
研究团队在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 四个模型开展指令跟随、空间推理、通用操作、鲁棒性四赛道对比评测,通过 Agent2Act 控制框架接入共享观测、动作执行与反馈接口。结果显示四模型能力画像一致:指令跟随得分高(三个接近满分)、空间推理强、通用操作得分低于其他三赛道;Astra 在指令跟随与鲁棒性领先,Opus 在空间推理、通用操作与综合表现领先。组件对比表明框架设计影响任务成功率、规划成本与执行时间,案例研究覆盖全身协调、跨形态操作、精细操作、灵巧手操作与真机任务。
arXiv 论文 HuTact 提出从大规模人类手-物交互(HOI)数据预训练触觉感知手部表征,预训练阶段不使用真实触觉信号,再将人类手部运动中的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据适配。在抓取预测、滑动检测、物体分类和触觉条件策略学习任务上,HOI 预训练提升了数据效率。抓取预测中,经 HOI 预训练并在无标注机器人自由交互数据上中期训练后,仅用 25% 下游标注数据即达 88.26% Macro-F1,与全量标注从头训练的 88.23% 相当。
研究团队提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在模拟的“杯中取物入盒”任务中,18名新手与4名专家在三种渲染方式下共采集2200次试验:看到仅强调拇指和食指的新手从600次试验中获得441次成功示教,而看到真实手形的新手为320次。用这些示教训练扩散策略并将观测替换为手部关键点与两个物体关键点后,400步内该条件从点云策略下三种新手条件中最弱的46.3%升至关键点策略下最强的57.3%,五个随机种子均提升11.0个百分点;强调全部关键点的示教变化至多+0.7个百分点。
arXiv 论文提出 Tactile-ETA 系统,通过上下文学习把触觉经验注入具身任务智能体,无需任务特定训练或更新模型参数。方法将每段专家演示的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉帧并在触觉图像显著变化处补两个相邻时间点。四个仿真操作任务中,在感知与执行接口不变下加入触觉观测使平均成功率从 15.75% 升至 24.00%;真实机器人任务中视觉与触觉对齐的演示将成功率从 0% 提升至 60%。
EmbodyHOI 在冻结的流匹配手-物交互轨迹生成器采样循环内嵌入针对特定人形本体的可微逆运动学求解器,将梯度回传以联合优化人形相对物体的位置,引导仅在推理阶段生效,因此一个在人体手部姿态上训练的生成器无需重训练即可迁移到不同人形本体。在 ARCTIC 轨迹上,针对宇树 G1 与 H1-2 两款人形机器人,该方法将重定向后的腕部误差从 8.9 cm 降至 0.6 cm,50 个随机 G1 任务成功率从 68% 升至 79%,四项任务 H1-2 套件从 62% 升至 76%。作者称事后腕部精修与等算力 best-of-N 选择虽 IK 能量更低,但训练出的策略更差。
DexGraspFlow 提出条件连杆级 SE(3) 流匹配框架,融合局部物体几何、连杆几何与运动学树距离导出的注意力偏置,用双流 DiT 建模连杆—连杆与连杆—物体交互,联合学习平移与旋转速度场并积分生成连杆位姿,再经逆运动学恢复关节构型。在三款机器人手、30 组物体—手部配对上,平均仿真成功率 95.33%,含逆运动学的平均生成延迟较当前最优基线低约 49%。模型对七种去指变体与掌心朝向引导实现零样本适应;针对部署手部训练的模型在 100 次真机抓取中成功率 91%。

