预训练（Pre-training）

一句话理解

模型的“九年义务教育”——读遍互联网的文字，学会语言规律和世界常识，之后才谈得上专业培训。

定义

预训练（Pre-training）是大模型训练的第一阶段：用海量文本（数万亿 token）训练模型做“预测下一个词”，把语言能力、常识和大量知识沉淀进参数。这一阶段消耗的算力和金钱，占整个训练成本的绝大部分。

你会在哪遇到它

新闻里“训练一个模型花了几个亿”，主要就是烧在这；“某模型用了 13 万亿 token 训练”说的是预训练数据量；理解“模型知识有截止日期”——因为预训练数据是过去收集的，太新的事它没读过。

背后的原理

核心任务简单粗暴：遮住文本的下一个词让它猜，猜错就调参数。重复万亿级次数后，语法、事实和推理的统计规律被压进参数。预训练产出的是“基座模型”——会接龙但不会好好对话，还要经过指令微调和对齐，才变成你熟悉的助手。

和相近概念的区别

1 与指令微调：预训练学知识和语言，微调学听指令、讲礼貌。 2 与“预训练模型”：业内说这个词通常指这个阶段产出的基座模型。 3 与微调的成本：预训练要千卡集群跑几个月、百万美元起步；微调几百条数据、一张卡几个小时就可能搞定，差着好几个数量级。

常见误区

1 预训练完就能上市——还得做对齐和微调，否则它只是个会接龙的毛坯。 2 数据越多一定越好——低质数据会教出一身坏毛病，清洗和配比比堆量更关键。 3 已发布的模型还在偷偷学习——它的知识定格在训练数据截止日，之后的新事一概不知道。