KV 缓存（KV Cache）

一句话理解

模型的草稿纸——生成时把算过的中间结果存下来，下个字就不用从头再算一遍，是推理提速的第一功臣。

定义

KV 缓存（KV Cache）指推理时把注意力机制中每个 token 的键（Key）与值（Value）向量缓存起来，避免每生成一个新词就重算全部历史。代价是显存占用随上下文长度线性增长。

你会在哪遇到它

讨论“为什么长上下文这么吃显存”时；模型技术报告里的 KV Cache 优化条目；API 的“缓存命中”折扣价背后，也是它在起作用。

背后的原理

生成第 N 个词时，注意力需要前 N-1 个词的 Key 与 Value。如果不做缓存，每出一个字都要把全部历史重新算一遍，纯属浪费。把 K、V 存起来，新词只需算自己的三个向量追加进去。缓存大小约等于层数乘头数乘维度乘长度，所以长对话会显存爆炸，量化、共享、稀疏化等优化应运而生。

和相近概念的区别

1 与提示缓存：KV 缓存是单次推理内的技术，提示缓存是把整段 KV 跨请求复用的产品能力。 2 与上下文窗口：窗口决定“能存多长”，KV 缓存决定“存着多费显存”。 3 与对话记忆：KV 缓存会话结束即释放，与跨会话的长期记忆是两回事。

常见误区

1 缓存让模型记住上次的对话——不会，那是记忆功能，KV 缓存只在本次生成中有效。 2 缓存是可有可无的优化——它是推理速度的基石，没有它每秒只能挤出几个字。 3 显存只装模型权重——长上下文推理时，KV 缓存的占用可能与权重不相上下。