推理（Inference）
模型用训练好的参数对新输入做预测的过程。你每次提问触发的那次计算就是推理，推理成本和速度决定 API 定价。
推理引擎（Inference Engine） Inference Engine
高性能运行大模型的服务软件（vLLM、SGLang、TGI），优化显存和并发吞吐。自部署模型服务时的核心选型：吞吐量、延迟和显存利用率。
相关术语
本地大模型（Local LLM）
在自己电脑或服务器上运行的大模型（通常用 Ollama、llama.cpp 等工具）。数据完全不出本机，无 API 费用；受限于本地算力，模型规模通常小于云端旗舰。
量化（Quantization）
把模型权重从高精度（如 16 位）压到低精度（8 位/4 位）以省显存、提速。量化后的大模型能跑在笔记本甚至手机上，代价是精度小幅下降。