知识蒸馏（Distillation） Knowledge Distillation

用大模型（教师）的输出训练小模型（学生），把能力压缩进更小的体积。很多「小模型表现逼近旗舰」的背后就是蒸馏。

相关术语

微调（Fine-tuning）

在预训练模型基础上，用自己领域的数据继续训练，让模型的风格与能力向特定任务靠拢。比 RAG 更改变模型的“本能”，成本与门槛也更高。

大语言模型（LLM）RLHF（人类反馈强化学习）

量化（Quantization）

把模型权重从高精度（如 16 位）压到低精度（8 位/4 位）以省显存、提速。量化后的大模型能跑在笔记本甚至手机上，代价是精度小幅下降。

推理（Inference）微调（Fine-tuning）大语言模型（LLM）

推理模型（Reasoning Model）

回答前先展开一段较长的内部思考再给结论的模型（OpenAI o 系列、DeepSeek-R 系列等）。数学、代码与多步规划明显更强，代价是更慢、更贵。

思维链（Chain-of-Thought）大语言模型（LLM）推理（Inference）