Scaling Law（缩放定律）

一句话理解

AI 界的氪金定律——参数、数据、算力一起堆，能力就跟着涨，而且涨得可以提前算出来。

定义

Scaling Law（缩放定律）指模型能力随参数量、数据量、计算量按幂律规律提升的经验规律，由 OpenAI 等团队在论文中系统化。它给行业一个信念：更大＝更强，且投入产出可以预测。

你会在哪遇到它

巨头们“百亿建数据中心”的理论依据；新闻里“万亿参数模型”的军备竞赛；近年“缩放定律撞墙了吗”的争论——数据快用完、收益递减的声音。

背后的原理

规律来自大量实验拟合：在几个数量级范围内，损失（模型预测的误差）随规模平滑下降。据此可以反推“要达到某能力需要多大数据多大模型”，先训小模型、外推大模型表现的研发方法由此而来。

和相近概念的区别

1 与摩尔定律：摩尔定律是硬件晶体管密度定律，Scaling Law 是模型能力与规模的关系。 2 与“越大越强”：Scaling Law 说的是统计趋势，不保证单个任务上大模型都赢。 3 与推理模型路线：推理模型靠“思考时多花算力”提升能力，被称为“第二缩放维度”，是撞墙论后的新增长点。

常见误区

1 规律永远成立——它是经验规律，数据枯竭、收益递减的声音越来越多。 2 只要堆规模不用讲方法——数据质量与算法同样关键。 3 小模型没前途——蒸馏与小模型专用化是缩放之外的另一条路。