评测基准（Benchmark）

一句话理解

给 AI 出的“统一考卷”——考知识、考代码、考数学，新闻里“得分超越谁”用的都是这些卷子。

定义

评测基准（Benchmark）指用于衡量模型能力的标准化测试集，每个基准针对一类能力：MMLU 考学科知识、HumanEval 考代码生成、GSM8K 考数学、各类长文本与安全基准各管一摊。

你会在哪遇到它

模型发布会上的得分对比表；开源社区里模型卡片的评测栏；选购模型时参考的能力证据（结合自己场景）。

背后的原理

套路是固定题目加固定评分：模型在相同题目上作答，按标准打分，横向可比。问题也随之而来——题目公开后可能被混进训练数据“背题”（数据污染），分数虚高，所以基准每隔几年就要换代。

和相近概念的区别

1 与竞技场排行：基准是固定考卷自动打分，竞技场是真人对战投票，后者更贴近实际体验。 2 与内测集：企业应该自建业务评测集，公开基准只作参考——通用考卷不代表你的场景。 3 与单项能力：一个基准只测一类能力，别用 MMLU 高分推断它代码也好。

常见误区

1 分数高就一定好用——数据污染和过拟合普遍存在，动手用才是硬道理。 2 基准分数可以横跨任意比较——不同评测的设置不同，只比同卷分数。 3 刷榜=作弊——公开方法优化评测表现是行业惯例，但纯背题导致的虚高要警惕。