训练数据（Training Data）

一句话理解

模型的“教材”——AI 的本事、知识、偏见都来自它，喂什么，长成什么样。

定义

训练数据（Training Data）指用于训练模型的所有素材：网页文本、书籍、代码、图片、对话记录等。大语言模型的预训练数据常以万亿 token 计，数据的规模、质量、配比直接决定模型的上限。

你会在哪遇到它

新闻里“某模型用了 13 万亿 token 训练”；某个模型编程特别强、另一个数学特别强，多半反映教材的厚薄偏向；围绕 AI 的版权诉讼、隐私争议，争议焦点都是它。

背后的原理

原始数据要先清洗：去重、过滤低质与有害内容、按比例配比（代码、数学、多语言各占多少）。教材配方是各家厂商的核心机密——同一片互联网，配比和处理水平不同，练出来的模型天差地别。

和相近概念的区别

1 与指令数据：预训练教材是原始文本，指令数据是“问题加标准答案”格式的对话样本，多用于微调阶段。 2 与上下文：训练数据固化进参数，上下文是临时塞给模型的参考资料。 3 与 RAG 知识库：那是使用阶段外挂的资料，和训练数据是两码事。

常见误区

1 数据越多一定越好——低质数据会教坏模型，质量与配比比堆量更关键。 2 模型见过就等于会——海量数据只有部分被有效吸收，冷门知识提取很不稳定。 3 网上的数据随便抓——版权与合规是真实风险，多家厂商正因此被起诉。