提
提示缓存（Prompt Caching）
API 的团购价——反复用同一段长提示词时，命中缓存的部分按一折左右计费。长系统提示词用户和 Agent 开发者的省钱大招。…
1 次浏览推
推理引擎（vLLM 与推理框架）
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批，同一张显卡吞吐翻倍，自建 AI 服务的选型核心。…
31 次浏览位
位置编码（RoPE）
给每个字发座位号——注意力本身不分先后，靠位置编码才知道谁前谁后。RoPE 是当下主流方案，各种长上下文技术都围着它转。…
24 次浏览长
长上下文评测（大海捞针）
给模型发一本小说，只在某页藏一句话，问它“针在哪”——大海捞针测试是长上下文能力的标配考卷，选长文本模型必看。…
33 次浏览注
注意力变体（GQA 与 MLA）
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存，DeepSeek 与 Llama 各押一条路，推理成本的关键变量。…
39 次浏览G
GPU（图形处理器）
AI 时代的电力——本为游戏画面而生的芯片，因擅长海量并行计算成了大模型的标配引擎。看懂 GPU，才算看懂算力从哪来。…
26 次浏览效
效率评测（延迟与吞吐）
考完聪明考手速——首字延迟、吐字速度、并发与每百万 Token 成本，效率指标决定产品体验与账单，与准确率同是选型的两条腿。…
28 次浏览稀
稀疏注意力（Sparse Attention）
别每个字都看全文——只挑重点位置看，长文本处理的“省力读法”，百万 token 上下文的幕后功臣之一。…
34 次浏览A
AI 网关（AI Gateway）
大模型流量的“总闸门”——鉴权限流、路由切换、用量记账一处管齐，多模型混用的团队几乎都会长出这一层。…
38 次浏览