优
优化器（AdamW）
参数更新的智能油门——动量记惯性、二阶动量定每个参数的步幅，AdamW 是大模型训练微调的默认优化器，也是检查点变大的元凶。…
3 次浏览量
量化感知训练（QAT）
训练时就“按压缩后的样子练”——把量化误差放进训练循环，模型提前适应低精度，端侧部署前的深度压缩选项。…
9 次浏览数
数据集许可证（Dataset License）
数据的“使用条款”——模型权重有许可证，训练它的数据同样有：能商用吗？要署名吗？能再分发吗？训练前必查。…
13 次浏览开
开源许可证（Model License）
开源模型的“使用说明书”——能商用吗？能拿去训练自家模型吗？答案都在许可证里，选型前必读，看错条款代价不小。…
15 次浏览后
后门攻击（Backdoor Attack）
给模型装“暗门”——平时表现完全正常，输入里一旦出现约定的暗号，模型立刻按攻击者意图行事。潜伏性最强的模型安全威胁之一。…
16 次浏览混
混合精度训练（Mixed Precision）
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度，速度显存双丰收，效果几乎无损，如今大模型训练的默认姿势。…
18 次浏览G
GPU（图形处理器）
AI 时代的电力——本为游戏画面而生的芯片，因擅长海量并行计算成了大模型的标配引擎。看懂 GPU，才算看懂算力从哪来。…
19 次浏览损
损失函数（Loss Function）
给模型打分的错题量化器——把“输出离正确答案有多远”算成一个数，训练的全部目标就是把这个数压下去。训练曲线上的 loss 线就是它。…
43 次浏览L
Llama（羊驼）
开源界的“领头羊”（名字就是羊驼）——Meta 发布的开放权重模型系列，全球开发者魔改的底料，开源生态的半壁江山。…
37 次浏览检
检查点与断点续训（Checkpoint）
给训练存个档——权重与优化器状态全量落盘，断电崩溃都能从上次进度接着练，跑数月的训练没它等于赌命，容错也是成本的一部分。…
34 次浏览