继续预训练（Continual Pre-training）

一句话理解

给模型“复读深造”——拿自己领域的大量文本接着预训练，让通用模型变成行业行家。

定义

继续预训练（Continual Pre-training，CPT）指在已有基座模型上，用特定领域的海量文本继续做预训练任务，把领域知识进一步压进参数。成本介于从零预训练和轻量微调之间。

你会在哪遇到它

医疗、法律、金融企业训练行业模型的第一步；让模型学会新语言或新领域的“行话”；新闻里“某模型在 X 领域继续训练”说的就是它。

背后的原理

通用模型读的是全网语料，行业内部的文档、病历、卷宗它没见过。继续预训练把这些文本用同样的“预测下一词”方式灌进去，领域词汇、表达习惯、专业知识随之沉淀。之后通常还要加一轮指令微调，把“懂行”变成“会回答”。

和相近概念的区别

1 与预训练：预训练从零打底，继续预训练是站在巨人肩膀上补课。 2 与微调：微调用少量问答数据改行为，继续预训练用大量文本补知识，量级差着百倍。 3 与 RAG：继续预训练把知识练进参数（慢但内化），RAG 外挂资料（快但外置）。

常见误区

1 塞了知识就会用——通常还要微调，模型才学会调用这些知识。 2 随便找堆文本就行——语料质量和清洗决定成败。 3 不用担心灾难性遗忘——训练不当会把通用能力练丢，要按比例掺通用数据。