人类偏好评估（Human Preference）

一句话理解

让真人给 AI 回答打分——同一个问题两个答案选更好的那个，把“好用”这种玄学变成可统计的数据。

定义

人类偏好评估由标注者对模型输出做两两比较或打分，衡量“回答得好不好”这类难以自动判定的维度：有帮助、诚实、无害。它是 RLHF（词条 874）的数据基础，也是模型迭代方向的罗盘。

你会在哪遇到它

标注公司与大厂数据团队的日常；模型对齐报告里的“人类评估胜率”；讨论“AI 的价值观由谁决定”的技术背景。

背后的原理

流程：同一提示词让两个模型各答一遍，标注者按准则选更好的（或平局），积累大量比较后算出胜率。难点在标注质量：疲劳、立场与文化背景都引入噪声，所以要有质检题、多人交叉与一致性校验，必要时叠加第三方独立评估，防止“自己考自己”。

和相近概念的区别

1 与竞技场排行（937）：竞技场是大规模公开版的人类偏好评估，用户投票即标注。 2 与奖励模型（984）：偏好数据先训练出奖励模型，之后由模型代替人来打分。 3 与模型当裁判（本批第 6 条）：用 AI 评估 AI 是对真人标注的补充，成本低但有偏见。

常见误区

1 标注等于客观真理——偏好因人而异，谁标注、按什么准则，结论就向谁倾斜。 2 胜率代表全面更强——可能只是某几类任务占优，要看细项拆解。 3 可以完全自动化——真人评估贵，但仍是校准 AI 裁判的锚。