Google、UCLA与CMU新论文发现AI编程工具常无法构建虚拟与混合现实应用
Google、UCLA与CMU联合论文提出GenXR-Bench，含112个专家编写的XR功能开发、缺陷修复与完整应用构建任务，测试模拟手部与房间输入，与使用真实头显的盲测XR专家一致率为96.5%。评测显示Claude Opus 5以50.9%领先，但无模型在SDK功能任务上超过29.2%；失败运行中64.4%出现坐标系错误，44.9%出现启动竞态条件。作者建议用模拟手部与房间输入验证智能体产出的XR应用，因智能体自写单元测试常漏掉运行时缺陷。
发布于 10-29 12:20来源：Rohan Paul
转载 · 官方发布原文：Rohan Paul ·《New Google + UCLA + CMU paper finds that AI coding tools often fail to build virtual and mixed reality apps because they》查看原链
Google、UCLA与CMU联合发表的新论文发现，AI编程工具常常无法构建虚拟现实与混合现实应用，原因是它们会丢失对三维空间中物体位置的追踪。 Claude Opus 5以50.9%的成绩领先，但在SDK功能任务上没有任何模型超过29.2%。
在失败的运行中，64.4%出现了坐标系错误，44.9%出现了启动竞态条件。 XR应用运行在三维空间中，并对头部运动、手部动作和房间感知做出反应。 常规编程基准使用单元测试或浏览器点击，无法检查虚拟按钮是否会跟随你的手掌。 他们构建了GenXR-Bench，包含112个由专家编写的任务，覆盖XR功能开发、缺陷修复和完整应用构建。
其测试模拟手部与房间输入，在使用真实头显时与盲测XR专家的一致率达到96.5%。 如果你使用智能体开发XR应用，请用模拟的手部与房间输入测试结果，因为智能体编写的单元测试常常漏掉运行时缺陷。