上下文窗口(Context Window)
模型一次能“记住”的对话与资料长度上限,以 token 计。窗口越大,能塞进去的文档越长;超长文本的中段召回是各家共同的短板。
模型单次可处理的超长输入能力(十万到百万 token 级),能把整本书或整个代码库塞进去。代价是成本更高,且存在「中段遗忘」——关键信息放头尾更稳。
模型一次能“记住”的对话与资料长度上限,以 token 计。窗口越大,能塞进去的文档越长;超长文本的中段召回是各家共同的短板。
Transformer 的核心计算:衡量每个词该「关注」句中哪些其他词,从而处理指代与长距离依赖。上下文越长,这部分开销增长越快。
回答前先从外部知识库检索相关资料,再交给模型生成答案。解决模型知识过时与“一本正经胡说”的问题,企业知识库问答的标准架构。