LLM（大语言模型）
ChatGPT、DeepSeek、通义千问背后都是它——把海量文字读透之后训练出来的“超级文字接龙”机器。这条词条讲清大语言模型到底是什么、“大”在哪里、为什么…
0 次浏览对齐（Alignment）
给 AI 立规矩——让模型的能力朝着人类想要的方向使：有用、诚实、无害。AI 为什么会拒答、会认怂、会追问你的需求，背后都是对齐的功劳。…
4 次浏览SFT（监督微调）
给基座模型上岗位培训班——拿人工写好的标准问答示范教它好好说话，是大模型从“会续写”到“会对话”的关键一步。…
2 次浏览学习率与预热（LR Warmup）
训练的“油门设定”——先热身再加速、后期缓缓收油，步子迈太大直接训崩，是最影响训练成败的超参数，没有之一。…
14 次浏览RLHF（人类反馈强化学习）
让 AI 学会“好好说话”的方法——人类对模型的多个回答打分排序，模型照着人类偏好调整，从“会接龙”进化成“会聊天”。ChatGPT 好用的最大功臣之一。…
19 次浏览优化器（AdamW）
参数更新的智能油门——动量记惯性、二阶动量定每个参数的步幅，AdamW 是大模型训练微调的默认优化器，也是检查点变大的元凶。…
26 次浏览量化感知训练（QAT）
训练时就“按压缩后的样子练”——把量化误差放进训练循环，模型提前适应低精度，端侧部署前的深度压缩选项。…
26 次浏览训练数据（Training Data）
模型的“教材”——AI 的本事、知识甚至偏见都来自它，喂什么长成什么样。版权争议、能力差异，根源都在这份数据里。…
27 次浏览位置编码（RoPE）
给每个字发座位号——注意力本身不分先后，靠位置编码才知道谁前谁后。RoPE 是当下主流方案，各种长上下文技术都围着它转。…
27 次浏览开源许可证（Model License）
开源模型的“使用说明书”——能商用吗？能拿去训练自家模型吗？答案都在许可证里，选型前必读，看错条款代价不小。…
32 次浏览机器学习（Machine Learning）
不写死规则，让机器自己从数据里找规律——喂它一千张猫狗照片，它自己总结出怎么区分。现代 AI 的地基。…
34 次浏览多 Token 预测（MTP）
一次多交几份答案——模型每步同时预测后面几个词元，训练信号更密更远，推理时草稿头还能白捡一笔加速，DeepSeek V3 已内置。…
37 次浏览Fine-tuning（微调）
给通用模型开小灶：用自己的数据再练一遍，让它更懂某个行业的话术、格式和分寸。微调、RAG、提示词三者怎么选，是每个想定制 AI 的人都会遇到的问题，这条词条一次…
38 次浏览数据飞轮（Data Flywheel）
越用越聪明的增长飞轮——用户用得越多，产生的数据越多，模型越好用，吸引更多人用。AI 产品的护城河逻辑。…
47 次浏览预训练（Pre-training）
模型的“九年义务教育”——读遍互联网的文字，学会语言规律和世界常识。新闻里“训练一个模型花了几个亿”，钱主要烧在这一步。…
36 次浏览