注
注意力变体（GQA 与 MLA）
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存，DeepSeek 与 Llama 各押一条路，推理成本的关键变量。…
1 次浏览G
GPU（图形处理器）
AI 时代的电力——本为游戏画面而生的芯片，因擅长海量并行计算成了大模型的标配引擎。看懂 GPU，才算看懂算力从哪来。…
2 次浏览效
效率评测（延迟与吞吐）
考完聪明考手速——首字延迟、吐字速度、并发与每百万 Token 成本，效率指标决定产品体验与账单，与准确率同是选型的两条腿。…
4 次浏览稀
稀疏注意力（Sparse Attention）
别每个字都看全文——只挑重点位置看，长文本处理的“省力读法”，百万 token 上下文的幕后功臣之一。…
14 次浏览A
AI 网关（AI Gateway）
大模型流量的“总闸门”——鉴权限流、路由切换、用量记账一处管齐，多模型混用的团队几乎都会长出这一层。…
20 次浏览