量
量化感知训练（QAT）
训练时就“按压缩后的样子练”——把量化误差放进训练循环，模型提前适应低精度，端侧部署前的深度压缩选项。…
2 次浏览注
注意力变体（GQA 与 MLA）
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存，DeepSeek 与 Llama 各押一条路，推理成本的关键变量。…
25 次浏览混
混合精度训练（Mixed Precision）
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度，速度显存双丰收，效果几乎无损，如今大模型训练的默认姿势。…
16 次浏览模
模型崩塌（Model Collapse）
AI 吃 AI 的“近亲繁殖”风险——模型生成的数据反复训练模型，一代代下来多样性消失、质量滑坡，尾巴上的稀有内容最先死掉。…
20 次浏览稀
稀疏注意力（Sparse Attention）
别每个字都看全文——只挑重点位置看，长文本处理的“省力读法”，百万 token 上下文的幕后功臣之一。…
24 次浏览算
算法偏见（Algorithmic Bias）
AI 的“有色眼镜”——训练数据里的偏见被模型学走甚至放大，让某些群体被系统性亏待。AI 公平性问题的核心概念。…
31 次浏览智
智能摘要（Summarization）
万字变三句的“压缩饼干”——文章、会议、邮件、视频，一键提炼要点，是普及率最高的 AI 办公功能之一。…
33 次浏览M
Mamba 与状态空间模型（SSM）
挑战 Transformer 的新秀架构——不逐字回翻全文，而是像记笔记一样把看过的内容压缩成一份状态往前带，超长上下文的另一种答案。…
35 次浏览