通俗易懂的 AI 术语解释,按字母索引快速查阅。 共 1 条 · 关键词「KVCache」
模型的草稿纸——生成时把算过的中间结果存下来,下个字就不用从头再算。推理提速的第一功臣,也是长上下文吃显存的元凶。…