量化(Quantization) Quantization

把模型权重从高精度(如 16 位)压到低精度(8 位/4 位)以省显存、提速。量化后的大模型能跑在笔记本甚至手机上,代价是精度小幅下降。

相关术语