注意力机制（Attention） Attention Mechanism

Transformer 的核心计算：衡量每个词该「关注」句中哪些其他词，从而处理指代与长距离依赖。上下文越长，这部分开销增长越快。

相关术语

2017 年论文《Attention Is All You Need》提出的神经网络架构，靠注意力机制并行处理整段文本，是 GPT、Claude、Gemini 等几乎所有主流大模型的底座。

模型一次能“记住”的对话与资料长度上限，以 token 计。窗口越大，能塞进去的文档越长；超长文本的中段召回是各家共同的短板。

模型单次可处理的超长输入能力（十万到百万 token 级），能把整本书或整个代码库塞进去。代价是成本更高，且存在「中段遗忘」——关键信息放头尾更稳。