机器人行业洞察
今日精选
The robotics journal行业消息
HexaShell 让基于 VLM 的编程智能体通过一条命令行控制机器人,自身不做决策;执行智能体运行回合,优化智能体在失败后读取完整记录并编写或修复带测试的工具,学习结果以代码形式保留,无需演示或训练。工具仅使用 RGB 图像、相机标定和机械臂状态,通过多视角三角测量定位物体,仿真与硬件输入一致,迁移到不同机械臂只需小幅修改。在 RoboDojo 官方评估中(隐藏种子,42 个任务各 50 回合),成功率为 46.9%、进度分数 53.2,为官方排行榜当前最优;记忆类任务达 81.0%,精度类任务仅 32.0%,瓶颈在接触而非推理。工具已在 GitHub 开源。
FastVLA是一个免训练、任务感知且时间自适应的视觉token压缩框架,通过任务到视觉注意力为token重要性打分,并依据重要性分布均匀性(逆Simpson指标加在线滑动窗口校准)自适应设定压缩率。在LIBERO与SIMPLER仿真环境中对OpenVLA、OpenVLA-OFT和CogACT的测试显示,LLM主干FLOPs降低35-59%,动作延迟降低9-32%(1.09-1.46倍加速),任务成功率保持;在实体Franka Research 3机器人上动作预测延迟降低20%(1.25倍加速),成功率相当。代码已开源。
论文提出 HATCH 机器人操作基准,以“密室逃脱”形式将五个技能类别、三个难度等级的任务串联:传感器确认一项任务完成后才解锁下一项,形成长时程评估。成功判定依赖仪器而非人工,评分与机器人本体无关,物体摆放由运行当天的随机种子随机化。参赛者需提交未剪辑视频、传感器日志和随机种子作为认证自运行记录,任务规范、搭建指南、物料清单与评分细则以开放许可证发布。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做预测:给定预测查询后,模型收集最多 1 万条历史样本作为上下文,单次前向传播输出流失、需求或欺诈等结果,无需任务特定训练、特征工程或表展平。在 15 个数据库的 41 项任务上,它超过监督式关系深度学习模型和专家特征工程的梯度提升树流水线;在 SAP SALT 基准上,其平均倒数排名(MRR)比 AutoGluon 集成高 8%。模型可扩展至 5000 亿行以上数据库,通过 NVIDIA 开源 GPU 原生结构化数据模型库或 NVIDIA NIM 提供。
Hugging Face 发布 TorchTPU,为 PyTorch 增加 TPU 原生后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,无需再经 torch_xla 或 Optimum TPU。安装命令为 pip install torch-tpu 并指定 PyTorch CPU 构建索引;Transformers 中传 device_map="tpu" 即可加载模型,Diffusers 中 pipe.to("tpu") 即可推理。TorchTPU 附带为 TPU 调优的 Pallas 内核、分布式训练支持和 torch.compile 集成。
Isaac Lab 文档发布 Newton WebAssembly 仿真的浏览器交互演示包,包含预构建仿真、浏览器查看器与导出器源码,归档以提交命名并校验 SHA-256,作为永久包容器后续更新只增资产不新建编号发布。本地预览需下载归档后运行 python -m http.server 8000 --directory site 并访问 /interactive/;运行演示仅需浏览器,重建物理需固定版本 Newton Web 编译器与 Emscripten。发布流程复用 interactive-releases 分支,在官方仓库创建该分支需管理员按分支创建规则执行。
Isaac Lab 发布 v3.0.0 正式版,作为新项目及从 2.x 迁移的推荐基线。新版本提供跨多种物理、渲染与可视化后端的统一任务 API,支持基于 Newton 与 OV 库后端的无 Kit 执行和 Warp 原生数据通路。Newton 为 Warp 原生物理后端,含 MuJoCo-Warp、VBD、MPM 求解器路径,可支持刚体、可变形体与粒子;Isaac Sim 变为可选组件。版本适配 Isaac Sim 6.2、Python 3.12、PyTorch 2.11(CUDA 13.0)、Warp 1.17、Newton 1.6.1 与 RSL-RL 5.5.1。
一位开发者搭建了用于标注工厂视频的开源工具生态,服务于机器人训练数据生产。据其描述,单条视频片段的标注耗时从原始素材的40-50分钟降至约5分钟。原文未披露工具名称、技术栈、数据集规模及开源许可证等细节。

