跳到主要内容
Evolvant
订阅

机器人行业洞察

行业消息

  1. 研究提出 inr2action 参数空间记忆框架:对每个机器人操作片段的视频拟合神经隐式表示,权重增量即作为该片段的记忆,且增量大小固定,不随片段帧数(一百帧至十万帧)变化。学习得到的投影器把权重增量映射为 token 嵌入,分别条件化语言模型做问答、条件化解码器做关节命令回归,查询时无需检索原始帧。在 RoboMME 上语言模型各题型均超随机水平,解码器平均 R² 为 0.51;将增量替换为匹配噪声后性能下降 11.4 个点,随机初始化权重无法解码。

    arXiv cs.RO研究具身智能大模型多模态

  2. T-WLA 是一种世界-语言-动作架构,用共享视觉记忆同时驱动动作生成与触觉修正:视觉分支每次更新时把当前图像、任务指令与检索历史整合为视觉记忆,该记忆被缓存给轻量级触觉编辑器,后者结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。训练阶段以未来图像与未来压力预测作为辅助监督。在 EgoTouch 与 Tachin 的触觉条件手部运动预测上,手指关节 MPJPE 较最强已报告基线降低 30%;四个真实灵巧操作任务平均成功率约 50.0%。

    arXiv cs.RO研究具身智能灵巧手传感器

  3. 该研究提出一种基于元学习的人机交互框架,用神经网络替代人工设定的切换阈值来识别人类意图,并引入控制器中依赖力的参数,使被动模式识别率从90.1%提升至99.1%、主动模式从79.8%提升至97.1%。框架还包含自适应元学习控制器以补偿人类扰动并在线适应变化的交互力,以及多轨迹元学习算法联合学习环境基表示与依赖力的参数,以处理未建模动态。实验称该框架在实现鲁棒控制的同时提供了可靠的模式识别。

    arXiv cs.RO研究具身智能运动控制强化学习

  4. 研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,使操作员无需旋转身体即可访问侧面和后侧目标。可运行原型实现全局缩放(GZ)与焦点+上下文(F+C)两种模式。被试内实验(N=8,72次试验)显示,GZ完成次数最高(23/24),固定映射为20/24,F+C为21/24;但F+C获得6/8名参与者偏好,完成表现与主观偏好指向不同映射。

    arXiv cs.RO研究人形机器人具身智能运动控制

  5. 论文提出一种用于物理人机交互(pHRI)的无传感器控制框架:训练神经网络补偿系统摩擦与未建模动态以提升力/力矩观测器精度,采用任务零空间分解分离关节速度、降低人类扰动对观测器的影响,并引入位姿与力混合控制器实现末端位姿和力跟踪。实验结果显示该框架在保持位姿与力跟踪性能的同时提供鲁棒准确的力/力矩估计,可应用于未装力/力矩传感器的机械臂平台。

    arXiv cs.RO研究具身智能传感器运动控制

  6. 研究提出 VLA-Rolling 推理框架,在底层 VLA 模型冻结的前提下,通过动作尾部继承、逐动作置信度估计、置信度引导的重新加噪与去噪预算分配三阶段复用被丢弃的动作尾部。在 LIBERO、MetaWorld、LIBERO-Plus、RoboTwin 2.0 四个基准上对 π_{0.5}、SmolVLA、X-VLA、MolmoAct2 测试,16 个模型—基准组合的推理成本全部下降,最高加速 1.48 倍;14 个组合成功率提升,最高提升 15.08 个百分点。

    arXiv cs.RO研究具身智能大模型多模态

  7. CondenseVLA 提出解码器侧可学习历史压缩模块:以可学习查询和多头交叉注意力,将 VLM 骨干缓存的逐帧特征蒸馏为固定数量的槽 token,并用辅助正则化惩罚槽注意力图重叠、使槽嵌入去相关。实验显示 Simpler-WidowX 成功率从 58.7% 升至 69.8%(+11.1 个百分点),LIBERO 达 97.2%,真实世界任务 52.8%,依赖记忆的 RMBench 任务为 21.6%。作者指出有限历史窗口在更难的多观测任务上存在局限,项目页已公开。

    arXiv cs.RO研究具身智能大模型多模态

  8. 研究提出 TAPDreamer,一种仅用公开编码器构造固定局部对抗补丁、无需查询目标策略即可跨任务与动作架构迁移的攻击方法。闭环评估中,每个基准使用一个冻结补丁、覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%;匹配随机补丁则分别保持 81.5% 和 79.2%。相同补丁使两种 DreamWAM 配置降至 1.45% 和 1.00%,Motus 降至 10.60%。作者据此认为,世界动作模型的防御需同时保护共享视觉编码器,仅保护下游动作生成不足。

    arXiv cs.RO研究具身智能大模型安全与伦理

  9. 研究提出EMMA框架,结合生成式数据引擎与训练流程增强VLA策略。其DreamTransfer基于扩散Transformer生成多视角一致、几何合理的具身操作视频,支持文本驱动的前景、背景和光照编辑。采用真实与生成数据混合训练,并提出AdaMix根据策略性能自适应加权样本。在零样本视觉设置的真实机器人任务中,相比仅用真实数据训练,性能相对提升超92%,加入AdaMix后额外提升17%。

    arXiv cs.RO研究具身智能大模型多模态

  10. 研究团队开发了一种分层仿生机器人皮肤,在顺应性软介质中嵌入感受器模拟传感器,以复现人体皮肤组织的关键结构特征。基于该平台,他们实现了生物启发与反事实两类传感布局,并在弱接触检测、类两点辨别和纹理识别三项被动触觉任务上做定量对比。结果显示,反映生物启发传感组织关键特征的布局性能高于所考察的替代配置。该工作以物理实验方式比较了活体系统中难以检验的感受器空间组织问题。

    arXiv cs.RO研究具身智能传感器基准评测

  11. 论文提出 Gibson 虚拟环境,用于为主动智能体开发真实世界感知模型。Gibson 基于对真实空间进行虚拟化,而非使用人工设计的空间,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内部合成机制“Goggles”使训练好的模型无需进一步域适应即可部署到真实世界,并对智能体进行具身化,使其受到物理和空间约束。

    arXiv cs.RO研究具身智能传感器仿真与数字孪生

  12. PhysWord 以原子动作动词作为连续物理动力学表征的共享语义锚点,预测即将发生的原子动作词,并将其上下文隐藏状态与由对应未来观测导出的潜在目标对齐,从而构建时间结构化的 PhysWord 空间(每个动作词含视觉与可选触觉变体)。该模型在视觉-触觉 UniVTAC 上取得 90.3% 成功率,在基于视觉的 LIBERO-Long 上取得 99.6%,均为此前最优;在使用双臂夹爪和灵巧手的真实任务上优于对比方法,并可泛化到未见场景、支持长程操作。

    arXiv cs.RO研究具身智能灵巧手大模型

  13. 论文提出 OmniInteract 框架,用于双人形机器人的统一全身交互控制,包含两个核心组件:表面接触感知重定向利用密集的人机表面对应关系对两个机器人联合重定向,保留接触界面与近场几何上下文;可扩展的基于流的交互策略将控制分解为冻结的全身运动先验与伙伴感知专家残差,并通过条件流匹配在共享残差动作空间中统一。实验显示该方法提升了重定向保真度与双人形协调性,在技能多样性增长时更好地保持交互性能;真实部署验证了接触建立、全身协调稳定及外部扰动恢复。

    arXiv cs.RO研究人形机器人具身智能运动控制

  14. 研究提出 FIBER 框架,将冻结行为基础模型(BFM)的可执行潜在空间作为异构交互技能共享的规划表征,通过潜在策略投影(LPP)把独立训练的任务策略映射到该空间,再离线训练单一感知流规划器;同时引入用多 gamma 前向-后向学习训练的自适应视界 BFM(AH-BFM)。在仿真中,箱子拾取、开门、抓取三类任务各 128 种变化下平均成功率 42.0%,高于投影潜在回放的 11.6% 和运动学规划的 3.5%。在真实 Unitree G1 人形机器人上验证了 sim-to-real 迁移、技能链式组合与条件引导。

    arXiv cs.RO研究人形机器人具身智能运动控制

  15. 研究团队提出 InteractAgent,一个面向长时程人体-场景交互的智能体式多模态大语言模型系统,用单个 MLLM 同时充当规划器与评估器,以冻结的 MotionLLM 作为执行器,在闭环中完成规划、执行、观察与反思。系统包含在线观察模块,逐步做出继续/重做/重新规划决策,以及记忆增强反思模块,支持多轮计划细化与自适应停止。在 UniHSI 基准上,与免训练基线相比,该方法提升了任务成功率并减少了穿透。代码已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型多模态

  16. HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。

    arXiv cs.RO研究具身智能大模型智能体