激活函数与激活值（Activation）

一句话理解

神经元的“开关与音量”——激活函数决定信息怎么非线性地传下去，激活值是每层实际的流量大小，显存大头藏在这里。

定义

激活函数是神经元输出前的非线性变换（如 ReLU、GELU、SwiGLU），没有它多层网络约等于一层线性变换；激活值是每层经过变换后的实际数值张量，训练时要保存它们来算梯度，是显存占用的大头。

你会在哪遇到它

模型结构表里的 activation 字段；显存不够时“梯度检查点”方案的说明；深度学习教材的经典章节。

背后的原理

非线性是深度的来源——没有激活函数，一百层与一层等价。现代大模型普遍用 SwiGLU 这类门控激活，表达效率更高。训练显存里权重是“固定资产”，激活值是“流动资金”：批量越大、序列越长，激活值越大。梯度检查点（与梯度累积 1080 搭档）就是用重算换显存，专门压这一项。

和相近概念的区别

1 与参数量（872）：权重是学到的知识，激活值是推理时的瞬时流量。 2 与残差归一化（1076）：残差管信息通路，激活管非线性变换，都是结构层组件。 3 与 KV 缓存（974）：推理时缓存的是注意力历史，训练时占显存的主要是激活值，别混。

常见误区

1 激活函数随便选——不同激活影响收敛与效果，主流选择是算过的。 2 显存不够只怪模型大——激活值随批量与长度膨胀，先调这两个。 3 推理也要存激活——推理只需当前层，训练才是激活值大户。