推理引擎（vLLM 与推理框架）

一句话理解

让大模型“跑得快又装得多”的后厨——缓存精打细算、请求随到随拼批，同一张显卡吞吐翻好几倍。

定义

推理引擎是专门优化模型推理服务的系统软件，代表有 vLLM、SGLang、TensorRT-LLM 等。核心是高吞吐批处理：把许多用户的请求拼在同一张卡上流水线执行，同时尽量压低单个请求的延迟。

你会在哪遇到它

自建 API 服务的技术选型帖；本地跑开源模型的图形界面底层；“部署成本要多少”讨论里的主角。

背后的原理

关键技术：PagedAttention 把 KV 缓存（词条 974）像内存分页一样精细管理，减少碎片浪费；连续批处理让新请求随到随插队，不必等一批跑完；再叠加投机解码（975）、量化（877）进一步提速。吞吐量（每秒输出的 Token 总量）是它的核心指标，同一模型换个引擎，成本可能差好几倍。

和相近概念的区别

1 与 Ollama（957）：Ollama 图省事、面向个人；vLLM 类引擎图吞吐、面向对外服务。 2 与推理（973）：推理是过程本身，推理引擎是让过程高效落地的软件。 3 与批处理 API（982）：那是厂商官方的离线接口，推理引擎是自己搭服务的路线。

常见误区

1 引擎能凭空变快——优化的是利用率与调度，单请求速度有物理上限。 2 任何卡都值得上 vLLM——小显存场景轻量工具反而更省心。 3 换引擎零成本——模型支持、算子兼容与驱动版本都有坑，上线前必须压测。