RLHF（人类反馈强化学习）

一句话理解

让 AI 学会“好好说话”的方法——人给模型的多份回答打分排序，模型照着人类的偏好调整，从“会接龙”变成“会聊天”。

定义

RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）是最著名的对齐技术：先让人类对模型的多个回答排序打分，据此训练一个“偏好打分器”，再用强化学习让主模型学会生成人类喜欢的回答。

你会在哪遇到它

ChatGPT 之所以礼貌、会拒答有害请求、敢于承认不知道，RLHF 功不可没；读模型技术报告时常见“经过 RLHF 训练”；感觉新一代模型“更听话了”，体感多半来自这一步的进步。

背后的原理

分三步：第一，收集人类偏好——同一个问题让模型答好几个版本，人工排出优劣；第二，用这些排序训练奖励模型，让它学会像人一样打分；第三，用强化学习优化主模型，让它尽量生成能拿高分的回答。相当于给模型配了一位严格执行人类偏好的教练。

和相近概念的区别

1 与 SFT（监督微调）：SFT 是照着标准答案抄，人写好示范让模型学；RLHF 是人只打分，模型自己摸索怎么拿高分。 2 与对齐：RLHF 是实现对齐的代表性手段，对齐是目标，RLHF 是方法。 3 与 RLAIF：用 AI 代替人类打分的改良版，成本低，但偏好质量取决于那个打分的 AI。

常见误区

1 以为 RLHF 让模型更聪明——它主要改善态度、安全性和有用性，知识能力靠预训练。 2 以为人类打分很客观——标注员偏好不一、偷懒划水，会直接教给模型坏习惯。 3 以为一劳永逸——新模型、新场景要持续收集反馈迭代，这是长期工程。