学习率与预热（LR Warmup）
训练的“油门设定”——先热身再加速、后期缓缓收油，步子迈太大直接训崩，是最影响训练成败的超参数，没有之一。…
3 次浏览反向传播与梯度下降（Backpropagation）
模型学习的“心跳”——先算错多少，再倒推每个参数该负多少责任，全体朝减小误差的方向挪一小步，训练循环的发动机。…
7 次浏览优化器（AdamW）
参数更新的智能油门——动量记惯性、二阶动量定每个参数的步幅，AdamW 是大模型训练微调的默认优化器，也是检查点变大的元凶。…
12 次浏览训练数据（Training Data）
模型的“教材”——AI 的本事、知识甚至偏见都来自它，喂什么长成什么样。版权争议、能力差异，根源都在这份数据里。…
19 次浏览位置编码（RoPE）
给每个字发座位号——注意力本身不分先后，靠位置编码才知道谁前谁后。RoPE 是当下主流方案，各种长上下文技术都围着它转。…
19 次浏览后门攻击（Backdoor Attack）
给模型装“暗门”——平时表现完全正常，输入里一旦出现约定的暗号，模型立刻按攻击者意图行事。潜伏性最强的模型安全威胁之一。…
21 次浏览API（应用程序接口）
程序之间“点菜”的窗口——你的应用按规矩发请求，AI 服务按规矩返回结果，不用关心后厨怎么炒的。开发者接 AI 能力的第一站。…
26 次浏览Fine-tuning（微调）
给通用模型开小灶：用自己的数据再练一遍，让它更懂某个行业的话术、格式和分寸。微调、RAG、提示词三者怎么选，是每个想定制 AI 的人都会遇到的问题，这条词条一次…
31 次浏览数据隐私（AI 时代的数据隐私）
你和 AI 说过的话去哪了——聊天可能被用于训练，敏感信息可能被模型“记住”。AI 时代每个人都该关心的隐私新规则。…
36 次浏览注意力变体（GQA 与 MLA）
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存，DeepSeek 与 Llama 各押一条路，推理成本的关键变量。…
34 次浏览GPT（生成式预训练变换器）
最出名的 AI 模型家族名——ChatGPT 的 G、P、T 三个字母分别是“生成式、预训练、变换器”。这个名字直接定义了一个时代。…
27 次浏览输出解析与容错（JSON 修复）
程序与模型之间的“翻译官”——Schema 校验、JSON 自动修复、回喂自纠与业务兜底四层防线，别赌模型每次都听话。…
21 次浏览混合精度训练（Mixed Precision）
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度，速度显存双丰收，效果几乎无损，如今大模型训练的默认姿势。…
22 次浏览Scaling Law（缩放定律）
AI 界的“氪金定律”——模型参数、数据、算力一起堆，能力就跟着涨，且涨得可以预测。过去几年所有巨头军备竞赛的理论依据。…
28 次浏览预训练（Pre-training）
模型的“九年义务教育”——读遍互联网的文字，学会语言规律和世界常识。新闻里“训练一个模型花了几个亿”，钱主要烧在这一步。…
29 次浏览