该论文综述基于触觉的机器人操作研究,将其划分为力学驱动与数据驱动两条互补路径:前者通过接触力学和任务特定推理显式解读触觉信号,形成与操作相关的状态表征并影响机器人动作;后者直接从数据学习触觉表征与操作策略,涵盖模仿学习、强化学习、视觉-语言-动作模型和预测模型。文章先介绍触觉传感基础,再分别回顾两条路径的进展,最后讨论面向可扩展、可泛化、稳健的触觉使能机器人系统的开放挑战与未来机遇。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出仅用RGB-D相机的低成本自主框架TrackDeform3D,用于采集可变形物体的3D关键点数据:方法识别3D关键点并跟踪其轨迹,引入运动一致性约束生成时间平滑、几何一致的数据。在多种物体类别上与多个先进跟踪方法对比,几何与跟踪精度均有一致提升。基于该框架发布的数据集包含6个可变形物体、总计110分钟轨迹数据。
论文提出积分自监督方案:用短视教师在每个短窗口独立对IMU积分,从零训练惯性里程计模型,学生虽仅受短窗口速度变化监督,却学会直接预测速度且精度超过教师;再用位姿图蒸馏以多窗口位姿图的序列一致目标精炼模型。该方法在新平台部署时无需采集真值轨迹,只需标定IMU并在正常运行中记录数据。在行人、无人机、四足和人形共六个数据集上,无速度或位置标签训练的模型平均速度误差与同架构有监督基线相差0.07 m/s以内。
研究团队发布RoboCap,一顶重250克、搭载6个摄像头和双IMU的帽子,用于在真实环境中采集第一人称操作数据,并配套推出与设备无关的3D算法套件Grounded API。报告称,硬件、标定与3D算法协同后,其SLAM在多种场景与设备配置下、深度估计在第一人称场景下、手部追踪在适配第三方设备时,均在公开基准上达到当前最优性能。
研究团队提出用柔性Fin Ray夹爪的形变做视觉力预测,替代部署阶段的力/触觉传感器。方法分两步:先在校准数据上训练视觉力估计器,为任务演示标注力估计值;再在增强力的演示上训练动作—力提议策略,联合生成候选动作及其预期力。测试时采样候选动作与预测力,执行预测力最接近演示目标力的动作。在浆果采摘、空罐抓取、手内重定向和插头插入四项任务上完成评估。
研究团队发布开源平台 PolyUMI,其轻量无线手持夹爪可同步采集腕部相机、光学触觉、接触音频与本体感觉数据,无需外接工作站;同一传感手指可转移至机器人末端执行器,保持演示采集与策略执行间的传感几何一致。配套提出 token 级多模态策略 VisTA,跨传感器与时间整合信息以预测接触感知动作。在物体推理、滑动控制与接触丰富操作实验中,触觉与音频提供了视觉之外的任务相关信息,VisTA 与现有多模态策略相比具有竞争力或更优。
该数据集在活跃建筑工地采集,覆盖十层楼、为期八个月的施工周期,共包含 30 段 360 相机与 IMU 的视觉惯性序列,场景含可变光照、移动工人、快速运动和重复结构。真值轨迹由刚性固定在 360 相机上的 LiDAR-惯性 SLAM 系统采集。配套挑战赛中 SLAM 赛道有 62 支队伍参加,楼层平面图定位赛道仅 22 支。数据集与挑战赛信息发布于 hilti-trimble-challenge.com/dataset-2026。
该研究提出局部动作条件世界模型框架,用于机器人超声检查中的目标平面探头引导。方法分两阶段:先用潜在条件扩散世界模型,根据近期上下文帧、探头运动和时间偏移预测未来超声观测;再用目标条件时序Transformer预测有序探头运动,并以冻结世界模型的奖励进行微调。在自采集数据集上,世界模型在目标导向扫描中保留了依赖动作的解剖结构;真实闭环实验中,颈动脉引导成功率70.0%,甲状腺引导成功率65.0%。
研究提出多分辨率触觉感知框架 MiTaS,融合 RGB 相机、GelSight Mini 视觉触觉传感器与高频事件型 Evetac 传感器,采用模态特定卷积主干加 Transformer 融合,并以流匹配策略执行下游任务。在五个接触密集型操作任务上,MiTaS 平均成功率 80%,仅视觉基线为 35.5%,视觉-触觉基线为 55.5% 和 63%。
该论文提出Safe-Night VLA多模态操作框架,将长波红外热感知集成进预训练视觉-语言骨干网络,使机器人能基于热力学属性进行语义推理。为应对分布外场景,框架通过控制屏障函数加入安全滤波器,在策略执行时提供确定性的工作空间约束。作者在Franka机械臂上开展真实实验,设置温度条件操作、次表面目标定位与反射消歧三类评估任务,结果显示其性能优于仅RGB基线。
该研究提出一种仅用单目RGB相机与IMU的无人机机载状态估计方法,融合VIO、机载地标相机测量与IMU数据,并通过新的漂移模型估计和补偿VIO漂移,校正位置、姿态、线速度与角速度全部VIO状态。作者称现有方法多依赖立体相机或测距仪等更复杂硬件且使用未校正的漂移量,快速机动时误差较大。方法经1600次仿真与多次真实实验验证,并在A2RL无人机竞速挑战赛2025中从210支队伍晋级四强、获得奖牌。
论文提出在上肢假肢视觉抓取流水线中加入激光笔作为物体消歧机制,并对识别可抓取部位的深度卷积网络进行重训练;同时用混合现实策略复用现有高质量分割掩码,程序化生成真实感图像以扩展场景覆盖。实验显示,该流水线在保持计算成本不变的前提下,目标消歧准确率较现有方案最高提升9%。
该研究提出一种主动感知框架,让高自由度移动机械臂在导航过程中用手部相机检查不确定或安全关键区域,以应对机器人两次到访之间场景半静态变化导致的地图过时与碰撞风险上升。方法上采用概率化、物体与任务感知的下一最佳视角(NBV)公式,优先观测期望路径附近及不确定或可能变化物体周围区域,并将其集成进分层任务模型预测控制(HTMPC),利用运动学冗余调整视角,同时保持基座轨迹跟踪的更高优先级。系统将导航、地图维护与主动感知统一为闭环。真实世界测试显示,相比被动或非任务感知基线,地图一致性提升、任务相关地图熵降低、导航风险下降;仿真与真实序列进一步验证了对受控半静态场景变化的响应。
论文提出RangeNav,一个仅183k参数的激光雷达距离图像编码器,完全在合成数据上预训练,采用各向异性卷积与循环填充处理距离图像的极端长宽比和方位角接缝。预训练目标结合距离重建、语义分割与鸟瞰图(BEV)预测,随后冻结编码器用于强化学习策略。仿真中,加入语义与BEV监督相比仅重建基线,在程序生成训练环境和分布外真实测试环境成功率分别平均提升32.03和23.73个百分点。在Unitree B2-W四足机器人上零样本部署,可在密集人群、低光与施工区域导航。代码与模型将开源。
论文提出Reading the Room(RR)方法,将尺度模糊、稀疏、语义化的VSLAM地图配准到部分建成的二维楼层平面图,用于机器人施工进度跟踪等场景。方法核心是单一可微、类别平衡的语义-几何能量函数贯穿全流程,并提供两种全局初始化:利用单个不准确用户对应关系,或用跨模态匹配网络全局估计。在三个活跃施工现场的33个序列上评测,一般无约束设置下平均绝对轨迹误差较最强基线改善4.5倍,提供锚点时改善7.6倍。
arXiv 2610.29568v1 提出 ContactFlowFilter,用粒子滤波的递归结构处理状态时间依赖,并以流匹配模型作为辅助提议分布跟踪多模态信念、检测接触增删事件,解决仅靠关节力矩与基座力/力矩传感器的机械臂接触估计逆问题。真实实验中单接触与双接触位置误差分别为 0.36 cm 和 0.88 cm,运行耗时 0.69 ms 与 2.69 ms,仿真与实机均完成验证。
提出A2I-Calib++,一种面向足式机器人机体多IMU系统的运动学驱动抗噪主动标定框架,无需人工标定靶标,也无需对目标IMU做复杂参数调优,即可估计时间偏移、外参旋转平移与惯性零偏。框架含三个模块:受噪声各向同性启发的激励轨迹(由有限时域条件性命题支撑)、结合滚动接触奖励的约束感知对抗运动先验控制器、以及融合预标定小腿IMU与关节运动学的接触约束虚拟IMU。在仿真与真实四足平台上的评估显示,相比传统方法噪声敏感度与仿真标定误差明显降低,真实标定可重复,本体感知里程计精度提升。
该论文提出 PRISM 框架,将真实深度传感器的单一噪声解耦为「传感失效」与「测量不准确」两类物理模态,并蒸馏 3D 视觉基础模型特征作为空间-语义先验用于物理推理;针对失效区域稀疏与类别不平衡,采用分层正样本优先监督与动态难例挖掘。基准测试称其在噪声深度合成保真度上达到当前最优,下游真实机器人实验平均成功率为 92.1%,高于单一噪声建模基线。
T-WLA 是一种世界-语言-动作架构,用共享视觉记忆同时驱动动作生成与触觉修正:视觉分支每次更新时把当前图像、任务指令与检索历史整合为视觉记忆,该记忆被缓存给轻量级触觉编辑器,后者结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。训练阶段以未来图像与未来压力预测作为辅助监督。在 EgoTouch 与 Tachin 的触觉条件手部运动预测上,手指关节 MPJPE 较最强已报告基线降低 30%;四个真实灵巧操作任务平均成功率约 50.0%。
arXiv 于 2026 年 10 月发布的新论文 VeriCalib 将激光雷达-相机外参标定建模为可验证估计问题,输出“标定状态”而非单一残差均方根误差。方法采用两级外参补偿机制,并用结构化协方差联合传播相机与激光雷达标靶特征的不确定性、从残差估计方差分量,进而解耦旋转与平移以给出各方向精度并引导数据采集。论文还提出视图内与跨视图一致性检查,以及扩展到外参的最小可检测偏差界。

