量化（Quantization）

一句话理解

给模型“减肥”——把参数从高精度数字压成低精度存储，体积砍半甚至砍到四分之一，普通显卡也能跑大模型。

定义

量化（Quantization）是把模型参数从高精度浮点数（如 16 位）压成低精度（如 8 位、4 位）的压缩技术。模型文件体积和显存占用大幅下降，推理速度还会变快，代价是精度有轻微损失。

你会在哪遇到它

本地跑模型时下载的 GGUF 文件名里带 Q4、Q8，Q 后面的数字就是量化位数；显存不够跑 70B 原版，量化版就有机会塞进去；手机里跑的端侧模型全是重度量化的产物。

背后的原理

参数本来用 16 位浮点数存储，量化把它们映射到更低的精度格子里——类似把高清照片压成 JPG。4 位量化能把 7B 模型从十几 GB 压到 4GB 左右。压缩是有损的，但 GPTQ、AWQ 这类现代量化算法能保住模型的绝大部分能力。

和相近概念的区别

1 与蒸馏：量化不动模型结构、只压存储精度；蒸馏是换一个更小的模型从头教，两者可以组合。 2 与剪枝：剪枝直接删掉不重要的参数，量化是保留所有参数但降低精度。 3 与文件压缩（zip）：zip 解压后原样恢复，量化是有损的，压完回不去。

常见误区

1 量化只影响体积——低精度计算本身更快，显存带宽压力也更小。 2 量化必然严重掉智商——8 位几乎无损，4 位轻微下降，日常使用多数无感。 3 位数越低越好——压到 2 位以下质量明显崩坏，要按硬件和任务权衡。