Transformer 架构 Transformer

2017 年论文《Attention Is All You Need》提出的神经网络架构，靠注意力机制并行处理整段文本，是 GPT、Claude、Gemini 等几乎所有主流大模型的底座。

相关术语

注意力机制（Attention）

Transformer 的核心计算：衡量每个词该「关注」句中哪些其他词，从而处理指代与长距离依赖。上下文越长，这部分开销增长越快。

Transformer 架构上下文窗口（Context Window）长上下文（Long Context）

大语言模型（LLM）

用海量文本训练出来的超大规模神经网络，通过预测“下一个词”学会语言、知识与推理，ChatGPT、Claude、Gemini 背后都是 LLM。

Token（词元）微调（Fine-tuning）RLHF（人类反馈强化学习）

Token（词元）

模型处理文本的最小单位，约等于 0.5–0.75 个汉字或 0.75 个英文单词。API 按 token 计费，上下文窗口也按 token 计量。

大语言模型（LLM）RAG（检索增强生成）