研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,使操作员无需旋转身体即可访问侧面和后侧目标。可运行原型实现全局缩放(GZ)与焦点+上下文(F+C)两种模式。被试内实验(N=8,72次试验)显示,GZ完成次数最高(23/24),固定映射为20/24,F+C为21/24;但F+C获得6/8名参与者偏好,完成表现与主观偏好指向不同映射。
机器人行业洞察
今日精选
The robotics journal行业消息
论文提出一种用于物理人机交互(pHRI)的无传感器控制框架:训练神经网络补偿系统摩擦与未建模动态以提升力/力矩观测器精度,采用任务零空间分解分离关节速度、降低人类扰动对观测器的影响,并引入位姿与力混合控制器实现末端位姿和力跟踪。实验结果显示该框架在保持位姿与力跟踪性能的同时提供鲁棒准确的力/力矩估计,可应用于未装力/力矩传感器的机械臂平台。
作者指出,基于CARLA的端到端驾驶主流基准Bench2Drive,其舒适度指标改编自nuPlan,存在实现错误和奖励静止的分段方案,在八个模型上与静止时长的相关系数达r=0.97;作者提出基于距离的修正指标,将该相关性降至r=0.06,并发现原指标报告的驾驶分数与舒适度强权衡在相同行驶速度下比较时不再可检测。作者还发现评测框架的两个导航信号陷阱:默认控制器可能用指向路线目标点的角度替换模型自身转向,评测时目标点可能与训练时显著不同,并在UniAD和VAD上演示了二者影响差异明显。修复将以独立代码发布,可直接从记录轨迹获得修正后的舒适度分数,无需重跑闭环仿真。
研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。
CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。
研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。
该论文针对多边形环境中由常数复杂度多边形表示的 k 个平移机器人,给出首个对任意固定 k 均适用的全多项式时间近似方案(FPTAS),覆盖最小总行驶距离、最小单机器人最大距离、最小完工时间三种目标,并可直接推广到任意固定维度 d 的多面体环境与多面体机器人。该结果解决了 Agarwal、Halperin、Sharir、Steiger [SODA'24] 与 Agarwal、Holmgren、Steiger [SODA'26] 提出的开放问题——此前仅对 k=2 的单位正方形机器人给出 FPTAS,或对固定 k 的单位正方形/单位圆盘机器人给出双准则近似算法;作者称新算法显著更简单。
研究提出EMMA框架,结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频,支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练,并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中,相比仅用真实数据训练,性能相对提升超92%,加入AdaMix后额外提升17%。
研究团队开发了一种分层仿生机器人皮肤,在顺应性软介质中嵌入感受器模拟传感器,以复现人体皮肤组织的关键结构特征。基于该平台,他们实现了生物启发与反事实两类传感布局,并在弱接触检测、类两点辨别和纹理识别三项被动触觉任务上做定量对比。结果显示,反映生物启发传感组织关键特征的布局性能高于所考察的替代配置。该工作以物理实验方式比较了活体系统中难以检验的感受器空间组织问题。
论文提出 Gibson 虚拟环境,用于为主动智能体开发真实世界感知模型。Gibson 基于对真实空间进行虚拟化,而非使用人工设计的空间,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内部合成机制“Goggles”使训练好的模型无需进一步域适应即可部署到真实世界,并对智能体进行具身化,使其受到物理和空间约束。
arXiv 1804.08328v2(replace-cross)提出一种完全计算化的方法,对26种2D、2.5D、3D与语义视觉任务在潜空间中求解一阶与高阶迁移学习依赖关系,生成一张任务迁移学习的计算分类学图谱。作者利用该结构中的非平凡关系降低标注需求:求解10个任务所需的有标注数据点总数较独立训练减少约2/3,性能基本持平。论文同时提供计算与探查该结构的工具,包括供用户设计监督策略的求解器。
PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。
论文提出 OmniInteract 框架,用于双人形机器人的统一全身交互控制,包含两个核心组件:表面接触感知重定向利用密集的人机表面对应关系对两个机器人联合重定向,保留接触界面与近场几何上下文;可扩展的基于流的交互策略将控制分解为冻结的全身运动先验与伙伴感知专家残差,并通过条件流匹配在共享残差动作空间中统一。实验显示该方法提升了重定向保真度与双人形协调性,在技能多样性增长时更好地保持交互性能;真实部署验证了接触建立、全身协调稳定及外部扰动恢复。
arXiv:2610.25946v2 替换版提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈与正确性验证下迭代提出、实现、评估和修正算法。在2024 League of Robot Runners竞赛的高难度地图上,两天搜索得到的策略在最密集实例上比本地复现的更强参赛方案高35.0%,并可泛化到未见地图实例。在模拟真实仓库(不规则通道、连续机器人几何、异步运动)中,一周搜索发现一类全新多智能体路径规划算法,吞吐量比校准后的专有方案高58.9%,并在给定假设下证明其无碰撞且能在有限时间内完成未被撤回或替换的目标。
研究提出 FIBER 框架,将冻结行为基础模型(BFM)的可执行潜在空间作为异构交互技能共享的规划表征,通过潜在策略投影(LPP)把独立训练的任务策略映射到该空间,再离线训练单一感知流规划器;同时引入用多 gamma 前向-后向学习训练的自适应视界 BFM(AH-BFM)。在仿真中,箱子拾取、开门、抓取三类任务各 128 种变化下平均成功率 42.0%,高于投影潜在回放的 11.6% 和运动学规划的 3.5%。在真实 Unitree G1 人形机器人上验证了 sim-to-real 迁移、技能链式组合与条件引导。
研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。

