要考 "编程智能体能不能指挥机器人",单看最后成功还是失败远远不够。西北大学、卡内基梅隆大学等 8 所高校团队拿出的答案是 EFE(Embodied First Exam,具身第一考):一套统一框架、1156 个任务、47 种机器人,同一道题最多按三种模式从 "开卷" 到 "闭卷" 逐级收紧,再把每次失败拆到具体阶段去定位卡点。目前最强的编程智能体在特权模式(能读完整仿真状态、可无限次重置)下能解出约八成题目,换到贴近真机的标准模式就只剩不到一半;而失败往往集中在同一个精细动作阶段,看得准不等于做得准。
一、为什么要重新设计这套考卷
编程智能体和传统机器人策略不是一回事,老的机器人基准不好直接套:
- 做法不固定:传统策略只把画面和传感器读数变成动作;编程智能体可以直接下指令控制、编写控制程序,也可以先训练一个策略再上场,框架没法替它规定路线。
- 物理约束很硬:智能体只能靠传感器了解环境,动作发出去往往收不回来,环境也不会停下来等它思考,这和数字世界里调接口、改代码完全不同。
- 只打总分找不到病根:评分程序只判断一次尝试成败,不说明错在哪一步;要改进智能体,必须把失败拆开看。
EFE 因此只固定三件事:从哪里开始、给多少资源、怎么判定成功,具体怎么控制机器人交给智能体自己选。
二、考卷规模:1156 个任务,不只是抓取放置
| 维度 | EFE 配置 |
|---|---|
| 任务总数 | 1156 个 |
| 测试总数 | 2288 项(一个任务在一种模式下考一次算一项) |
| 任务套件 | 35 个(26 个改编自已有基准,9 个为新建) |
| 仿真器 | 23 个 |
| 机器人种类 | 47 种,分单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器、肌肉骨骼模型 8 类 |
| 核心难题集 | 456 个高难度任务,用于集中评测各智能体 |
新建的 9 个任务集把考点从桌面抓放扩展到空间谜题、灵巧操作、多机器人交互、动态全身控制、sim-to-sim 工程任务,例如解绳结、组装宜家家具、灵巧手翻书、临摹画作、接球、乒乓球、击剑,以及识别并拒绝危险请求等。
三、三种考法:同一道题,条件逐级收紧
同一个任务在不同模式下,初始场景、成功标准和时限都相同,差别只在智能体能拿到什么信息、能不能重来、环境等不等它:
| 模式 | 可获取信息 | 能否重置 | 环境是否等待 | 类比 |
|---|---|---|---|---|
| 特权模式 Privileged | 可读取完整仿真状态 | 不限次重置,反复试错 | 可等待 | 开卷考试,成功率近似能力上限 |
| 标准模式 Standard | 只有传感器观测(相机画面、本体感知等) | 默认不能重置 | 按真实条件运行 | 闭卷考试,对应真机部署条件 |
| 实时模式 Realtime | 同标准模式 | 默认不能重置 | 智能体思考时环境照常运行 | 限时闭卷,额外惩罚推理延迟 |
三种模式下,评分程序都跑在智能体无法干预的容器里,避免改成绩。
成绩落差有多大
在同一批 391 个同时具备两种模式的核心任务上:
- Claude Fable 5.2:特权模式解出 311 个(80%),标准模式只有 47%;特权模式做出来的题里,有 136 个换到标准模式后直接失败。
- GPT-6 Astra:特权模式 79%,标准模式基线只有 29%。
- 核心集 456 项标准模式测试中,169 项没有任何智能体解出;最强的 Claude Fable 5.2 解出 50%,GPT-6 Astra 34%,GPT-6.1 Sol 32%,Claude Opus 5.5 25%,Gemini 4 Argon 24%,Kimi 3.1 Pro 10%,其余四个都不到 7%。
- 实时模式更难:54 个双模式任务上,46% 的实时测试无人解出,标准模式这一比例是 35%。
差距主要卡在哪类动作
把阶段按粗细分类后对照:
- 精细阶段(组装、对准位姿、接触移动物体等)换到标准模式后,失败率上升 19~51 个百分点;例如组装失败率从 25% 升到 76%。
- 粗略阶段(放置、抓取等),9 类中有 7 类只上升 3~18 个百分点;例如放置从 18% 升到 31%。
- 典型翻车案例:Claude Opus 5.5 给风扇装前罩,特权模式下偏差 0 度装正;标准模式下把前罩举偏 36~39 度,而安装只允许 5 度偏差,继续往里推把整个风扇都推动了。
四、怎么把失败定位到每一步
1. 给任务画 "任务图",拆成阶段
评分程序只给成败,EFE 为 427 个核心任务各写一张任务图:
- 每个节点对应任务要求的一项环境变化,例如 "冰箱门打开"" 番茄放进冰箱 ""冰箱门重新关上";
- 连线标明完成先后顺序;
- 每个阶段标注类型(打开、放置、组装等)和需要的接触。
2. 给每次失败标一个失败阶段
- 发生摔倒等无法挽回的事件,就记该事件所在阶段;
- 否则记智能体最早犯下且没有纠正的错误所在阶段;
- 每次失败尝试最多记一个失败阶段。
标注覆盖 427 个任务、857 项测试中的 8480 次尝试,其中失败 6027 次;任务图和大部分标注由编程智能体完成(GPT-6.1 Sol 写任务图并标注大部分尝试,Claude Sonnet 5.5 标注其余部分并复核全部标注)。
3. 定位后看到的几条规律
- 失败常挤在同一阶段:192 项标准模式测试中,51 项(约四分之一)八成以上的失败落在同一个阶段;该阶段往往就是任务第一阶段。
- 强手弱手卡点位置不同:较弱智能体更常在还没完成所需接触之前就失败;强智能体则多卡在精细接触阶段。
- 阶段类型决定风险:擦拭等材料类阶段一旦到达,失败率 56%;行走等身体类阶段 39%;开门等机构类阶段 17%。
- 穿绳任务为例:绳子要依次穿过孔、环、孔、环、孔共 5 个阶段,标准模式下只有 Claude Opus 5.5 完成;Claude Fable 5.2、GPT-6 Astra、Gemini 4 Argon 都停在第二个环,五个较弱智能体中有四个连第一个孔都没穿过。
五、对照实验:看得准和能重来,哪个更管用
以 GPT-6 Astra 为对象,在标准模式接口上逐项补回特权模式才有的能力:
| 条件 | 成功率 |
|---|---|
| 基线(不补能力,仅再考一次作对照) | 19%(精细阶段失败测试) |
| 补上精确物体状态(看得准) | 21%,与对照相当 |
| 补上不限次重置(能反复试) | 36% |
| 精确状态 + 无限重置 | 68%,接近特权模式 79% |
结论很直接:对精细阶段,光看得准不够,得能反复试;补上重置后,三分之二的成功来自从中途存档重新开始的回合,只重试难的那一段。粗略阶段补上精确状态则帮助更明显。
六、智能体会自己换打法吗
EFE 不限制控制方式,三种模式下选择差别很大:
- 抽样 1760 次尝试:标准模式 63% 为直接控制(发一段动作、看一次画面再决定下一步);特权模式 79% 编写程序计算动作;实时模式 97% 编写程序,多数由程序自己读传感器、算动作形成闭环。
- 有 GPU 和训练库时,智能体会主动训练策略:足球任务 GPU 版 28 次尝试中 25 次训练了策略,赢下的 8 场全部来自训练策略;CPU 版 28 次只有 1 次训练策略,多手写步态,只赢 1 场(点球大战)。
- 换智能体框架也会影响成绩:GPT-6 Astra 在 Codex 中标准模式核心测试解出 34%,换到 Claude Code 只有 27%,所以榜单按 "模型+智能体框架" 列出。
七、目前的局限和下一步
- 每项测试只跑一次,任务集测试少时,一项测试就能让成功率波动 17~20 个百分点;
- 大部分阶段标签由受测智能体 GPT-6.1 Sol 标注,且它标注了自己的尝试,与 GPT-6 Astra 同属一个系列;
- 除真机演示外,结果都来自仿真;改编自公开基准的任务,部分成绩可能来自模型记住了公开解法;
- 团队计划重复运行核心测试并给出置信区间,增加实时任务,并通过标准模式接口在真实机器人上系统评测。
总的来看,EFE 把 "考编程智能体指挥机器人" 拆成了三层:用统一考卷量出能力广度,用三种模式量出离真机的距离,再用阶段标注量出具体卡点。现状是:能读全状态、能无限重来时,最强智能体已能解出八成难题;换成真实机器人的条件,成功率不到一半,而最难补的恰恰是真机上很难随时获得的 "重置机会"。
【相关 FAQ】
问题 1:EFE 这套评测编程智能体指挥机器人的框架,到底包含多少个任务和机器人?
回答 1:EFE(Embodied First Exam)一共包含 1156 个任务、2288 项测试,覆盖 35 个任务套件、23 个仿真器和 47 种机器人;其中再挑出 456 个高难度任务组成核心集,集中考核各编程智能体。
问题 2:编程智能体考机器人任务时,三种考法(特权、标准、实时模式)有什么区别?
回答 2:特权模式相当于开卷,编程智能体可读完整仿真状态并无限次重置;标准模式只给传感器观测、默认不能重置,对应真机条件;实时模式在标准模式基础上,智能体思考时环境照常运行,专门考核推理延迟下的动态反应。
问题 3:三种模式下最强编程智能体的成功率差多少,差距主要出现在哪些机器人动作上?
回答 3:同一批 391 个核心任务上,最强智能体特权模式约 80%,标准模式约 47%;实时模式更难,近一半测试无人解出。差距主要出现在组装、对准位姿、接触移动物体等精细动作阶段,抓取、放置等粗略阶段受影响相对较小。
问题 4:EFE 是怎么把编程智能体的失败定位到每一步的?
回答 4:先为任务画任务图,拆成按顺序排列的阶段;再对每次失败尝试标注一个失败阶段 —— 发生摔倒等不可挽回事件就记该阶段,否则记最早犯下且未纠正的错误所在阶段。整套标注覆盖 8480 次尝试、其中 6027 次失败,由此能看出不同智能体分别卡在哪个动作上。
问题 5:补上精确状态和补上重置,哪个对编程智能体完成机器人任务帮助更大?
回答 5:对照实验显示,补上无限次重置比补上精确物体状态更管用:精细阶段失败的测试里,补状态几乎没额外帮助,补重置才能明显多解出题;原因是精细动作往往需要反复试,而看得准本身不等于做得准,真机环境恰恰很难随时重置。
【参考资料】
- [2026-11-22](编程智能体指挥机器人,该怎么考?1156 个任务、三种考法,把失败定位到每一步)今日头条・机器之心 Pro
- [2026-11-19](Fable 5.2 开卷 80%,闭卷仅 47%!最强编程智能体遇上机器人难题)腾讯新闻・新智元
- [2026-11-14](Embodied First Exam: Robotics AI Benchmark)CASRAI
- [2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)36 氪
- [2026-11-09](Embodied First Exam: A Unified Evaluation Framework for Coding Agents in Robotics)arXiv
【免责声明】
本文内容基于公开论文与媒体报道整理,所涉智能体名称、成功率、任务数量等数据均来自上述信源,评测结果受仿真环境、任务样本、运行次数和智能体框架等条件限制,可能随论文版本更新而变化;文中不构成任何投资、采购或技术选型建议,如需引用具体结论,请以原始论文与官方发布为准。
本文来自作者[凝波索引]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2759.html
评论列表(4条)
我是岳鹿科技网的签约作者“凝波索引”!
希望本篇文章《编程智能体指挥机器人怎么考?1156 道题、三种模式逐级收紧,失败逐步定位到每一步》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:要考 "编程智能体能不能指挥机器人 ",单看最后成功还是失败远远不够。西北大学、卡内基梅隆大学等 8 所高校团队拿出的答案是 EFE(Embodied First Exam,具身第一考):一套统一框架、1156 个任务、47 种机器人,同一道题最多按三种模式从 "开卷 " 到 "闭卷 " 逐级收紧,再把每次失败拆到具体阶段去定位卡点。目前最强的编程智能体在特权模式(能读完整仿真状态、可无限次重置)下能解出约八成题目,换到贴近真机的标准模式就只剩不到一半;而失败往往集中在同一个精细动作阶段,看得准不等于做得准。