推理(Inference)
模型用训练好的参数对新输入做预测的过程。你每次提问触发的那次计算就是推理,推理成本和速度决定 API 定价。
模型边生成边把 token 推给前端,用户看到文字逐字浮现。体感速度远好于等整段生成完毕,现在已是对话类产品的默认体验。
模型用训练好的参数对新输入做预测的过程。你每次提问触发的那次计算就是推理,推理成本和速度决定 API 定价。
模型处理文本的最小单位,约等于 0.5–0.75 个汉字或 0.75 个英文单词。API 按 token 计费,上下文窗口也按 token 计量。
控制模型输出随机性的参数:越低越稳定保守(适合翻译、代码),越高越发散有创意(适合头脑风暴)。多数产品默认 0.7 左右。