本地大模型(Local LLM)
在自己电脑或服务器上运行的大模型(通常用 Ollama、llama.cpp 等工具)。数据完全不出本机,无 API 费用;受限于本地算力,模型规模通常小于云端旗舰。
公开权重可自由下载部署的大模型(Llama、Qwen、DeepSeek 等)。优势是数据不出本地、可微调定制、无 API 依赖;代价是需要自己管算力和运维。
在自己电脑或服务器上运行的大模型(通常用 Ollama、llama.cpp 等工具)。数据完全不出本机,无 API 费用;受限于本地算力,模型规模通常小于云端旗舰。
在预训练模型基础上,用自己领域的数据继续训练,让模型的风格与能力向特定任务靠拢。比 RAG 更改变模型的“本能”,成本与门槛也更高。
把模型权重从高精度(如 16 位)压到低精度(8 位/4 位)以省显存、提速。量化后的大模型能跑在笔记本甚至手机上,代价是精度小幅下降。