本地大模型(Local LLM)
在自己电脑或服务器上运行的大模型(通常用 Ollama、llama.cpp 等工具)。数据完全不出本机,无 API 费用;受限于本地算力,模型规模通常小于云端旗舰。
深度求索发布的开源大模型,以极低的训练成本(约 558 万美元)达到一线闭源模型水平。API 价格仅为同级产品的几分之一,是「低成本高性价比」路线的代表。
在自己电脑或服务器上运行的大模型(通常用 Ollama、llama.cpp 等工具)。数据完全不出本机,无 API 费用;受限于本地算力,模型规模通常小于云端旗舰。
云端模型厂商提供的调用接口:按 token 计费,发请求返回生成结果。选型看四点:能力、价格、速度(TPS)、稳定性。主流厂商都提供 OpenAI 兼容格式。
把模型权重从高精度(如 16 位)压到低精度(8 位/4 位)以省显存、提速。量化后的大模型能跑在笔记本甚至手机上,代价是精度小幅下降。