数据清洗（Data Cleaning）

一句话理解

训练前的“洗菜”工序——把互联网爬来的原料里的重复、乱码、广告、低质内容剔掉，模型吃得干净才长得好。

定义

数据清洗（Data Cleaning / Curation）指对训练语料做去重、去噪、质量过滤、敏感信息处理与格式统一的工序。大模型性能竞争的一半在数据质量，清洗管线是各家核心资产。

你会在哪遇到它

技术报告里的数据管线章节；讨论“为什么有的 7B 模型能打 13B”——数据好；“模型说话一股营销号味”——多半是清洗没做好。

背后的原理

常见工序：精确与模糊去重（重复内容会让模型死记硬背）；启发式过滤（广告模板、乱码、超短文本）；基于模型的质量打分（用小模型给文档挑精华）；毒性与隐私过滤（脏话、个人信息）；格式规范。数据配比同样有后果——代码数据太多话就变少，多语言配比影响“口音”。FineWeb、Dolma 等开源数据集公开了完整管线供研究参考。

和相近概念的区别

1 与数据标注：清洗是“去掉坏的”，标注是“给好的加说明”，数据工程的两半。 2 与合成数据：清洗处理存量，合成创造增量，两者常配合使用。 3 与偏好标注：清洗面向预训练语料，偏好标注面向对齐阶段，对象不同。

常见误区

1 数据越多越好——脏数据会放大缺陷，质量重于数量被反复验证。 2 清洗一劳永逸——新数据源、新模型规模都需要重新调整管线。 3 清洗等于删帖审查——技术目标是提升学习信号质量，与内容治理是两回事。