分词器(Tokenizer) Tokenizer

把文本切成模型最小处理单位(token)的工具。同一段文字在不同分词器下 token 数不同,直接影响 API 计费和上下文占用。中文通常 1 字 ≈ 0.6-1 token。

相关术语