梯
梯度累积(Gradient Accumulation)
显存不够的蚂蚁搬家——小批次多算几步、攒够梯度再统一更新,等效大批次训练,小显卡微调大模型的常规操作。…
23 次浏览注
注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
57 次浏览G
GPT(生成式预训练变换器)
最出名的 AI 模型家族名——ChatGPT 的 G、P、T 三个字母分别是“生成式、预训练、变换器”。这个名字直接定义了一个时代。…
53 次浏览智
智谱 GLM
清华系的“技术直男”——智谱 AI 的 GLM 系列,从论文里走出来的国产开源主力之一,开发者与学术社区的熟面孔。…
115 次浏览