Agent 评测（智能体评测）

一句话理解

考 AI 员工的“绩效考核”——不只看答什么，还要看任务办没办成、步骤合不合理、烧了多少 Token。

定义

Agent 评测考察智能体端到端完成任务的能力：最终结果对不对（任务成功率）、过程合不合理（步骤与工具调用是否高效）、代价高不高（轮次、Token、耗时）。代表基准有 WebArena、GAIA、SWE-bench 的智能体模式等。

你会在哪遇到它

智能体产品宣传页的“任务完成率”；讨论“Agent 落地难在哪”的分析文；自己搭智能体（词条 857）后的验收环节。

背后的原理

难点在于环境与路径都开放：同一任务有多种成功路径，中途错误可能被自行纠正。常见做法是搭可控仿真环境（虚拟网页、虚拟文件系统），跑完对照检查表给分，再叠加 LLM 裁判（词条 1088）评过程质量。成本也要记入成绩——成功率很高但每单烧几万 Token 的方案未必能上线。

和相近概念的区别

1 与代码评测（1084）：SWE-bench 既是代码基准，也是 Agent 评测的代表场景。 2 与人类偏好评估（1087）：偏好评“回答观感”，Agent 评测评“事情办成没”。 3 与评测基准（936）：传统基准一问一答，Agent 评测是多步交互加环境。

常见误区

1 成功率高就靠谱——要分任务难度分布，易题刷出来的高分没意义。 2 过程对结果一定对——结果与过程要分开评估，两者会背离。 3 演示等于评测——录屏里的丝滑演示常是精选案例，落地前必须自建测试集。