推理（Inference）
模型用训练好的参数对新输入做预测的过程。你每次提问触发的那次计算就是推理，推理成本和速度决定 API 定价。
AI 术语表
别人说的那个 AI 词到底是什么意思？67 个高频术语，每条一句话讲清，配“什么时候会遇到它”的语境。按拼音/字母排序无关紧要，按重要性排。
向量嵌入（Embedding）
把文字、图片等转成一串数字（向量），让语义相近的内容在向量空间里距离也近。搜索、聚类、RAG 都建立在它之上。
向量数据库
专门存向量并支持快速相似度检索的数据库（如 Pinecone、Milvus、Chroma）。企业做知识库问答时，文档先转向量存入，提问时检索最相关的片段喂给模型。
温度参数（Temperature）
控制模型输出随机性的参数：越低越稳定保守（适合翻译、代码），越高越发散有创意（适合头脑风暴）。多数产品默认 0.7 左右。
系统提示词（System Prompt）
对话开始前给模型定的“人设与规则”：语气、边界、输出格式都写在这里，比普通提问约束力更强。套壳产品的内核往往就是一条好的系统提示词。
提示注入（Prompt Injection）
攻击者把恶意指令藏进文本、网页或文档里，诱导 AI 忽略原指令执行危险操作。接入外部内容的应用必须把它当安全边界处理。
大语言模型（LLM）
用海量文本训练出来的超大规模神经网络，通过预测“下一个词”学会语言、知识与推理，ChatGPT、Claude、Gemini 背后都是 LLM。
Token（词元）
模型处理文本的最小单位，约等于 0.5–0.75 个汉字或 0.75 个英文单词。API 按 token 计费，上下文窗口也按 token 计量。
RAG（检索增强生成）
回答前先从外部知识库检索相关资料，再交给模型生成答案。解决模型知识过时与“一本正经胡说”的问题，企业知识库问答的标准架构。
智能体（Agent）
能自主规划步骤、调用工具、根据反馈调整行动的 AI 系统。聊天模型“你问我答”，Agent“给你办事”——订票、改代码、跑数据都算。
微调（Fine-tuning）
在预训练模型基础上，用自己领域的数据继续训练，让模型的风格与能力向特定任务靠拢。比 RAG 更改变模型的“本能”，成本与门槛也更高。
RLHF（人类反馈强化学习）
让人类对模型的多个回答排序，用这些偏好数据训练奖励模型，再强化学习优化——是让 LLM“听话、有帮助、无害”的关键对齐技术。
提示词（Prompt）
发给模型的指令文本。同一模型下，提示词质量直接决定输出质量；给角色、给上下文、给示例、给输出格式，是写好提示词的四个基本动作。
多模态（Multimodal）
模型能同时理解或生成多种类型的信息（文字、图片、音频、视频）。拍照解题、语音对话、看图写文案，都是多模态能力的体现。
幻觉（Hallucination）
模型自信地编造不存在的事实、引用或数据。根治尚无方案，缓解手段：要求引用来源、接入 RAG、对关键事实人工复核。
上下文窗口（Context Window）
模型一次能“记住”的对话与资料长度上限，以 token 计。窗口越大，能塞进去的文档越长；超长文本的中段召回是各家共同的短板。
模型上下文协议（MCP）
Anthropic 提出的开放协议，让 AI 应用用统一接口连接外部工具与数据源（数据库、文件、内部 API）。相当于给模型定了「USB-C 标准」：一次接入，多个客户端复用。
函数调用（Function Calling）
模型按约定格式输出「调用哪个函数、传什么参数」，由你的程序真正执行后把结果回喂给模型。这是 AI 从「会聊天」变成「能办事」的关键一步。
推理模型（Reasoning Model）
回答前先展开一段较长的内部思考再给结论的模型（OpenAI o 系列、DeepSeek-R 系列等）。数学、代码与多步规划明显更强，代价是更慢、更贵。
思维链（Chain-of-Thought）
让模型把推理步骤一步步写出来再给答案的提示技巧，对多步计算与逻辑题提升明显。推理模型把这一步内化进了训练过程。
世界模型（World Model）
在内部建模「环境如何演变」，能预测下一个状态而不只是下一个词。自动驾驶、机器人与视频生成都靠它做长时程规划与场景推演。
扩散模型（Diffusion）
从随机噪声出发、反复去噪来生成图像/音频/视频的模型族（Stable Diffusion、Sora 等）。训练时先学会加噪，再学会反推去噪，生成过程因而可控、可用提示引导。
Transformer 架构
2017 年论文《Attention Is All You Need》提出的神经网络架构，靠注意力机制并行处理整段文本，是 GPT、Claude、Gemini 等几乎所有主流大模型的底座。
注意力机制（Attention）
Transformer 的核心计算：衡量每个词该「关注」句中哪些其他词，从而处理指代与长距离依赖。上下文越长，这部分开销增长越快。
量化（Quantization）
把模型权重从高精度（如 16 位）压到低精度（8 位/4 位）以省显存、提速。量化后的大模型能跑在笔记本甚至手机上，代价是精度小幅下降。
知识蒸馏（Distillation）
用大模型（教师）的输出训练小模型（学生），把能力压缩进更小的体积。很多「小模型表现逼近旗舰」的背后就是蒸馏。
合成数据（Synthetic Data）
由模型生成的训练或评测数据，用于补足真实数据稀缺、隐私受限或标注昂贵的场景。主流做法是合成 + 少量人工校验，但要防止把模型自身偏见放大。
护栏（Guardrails）
模型之外加的输入输出检查层：内容过滤、越权工具调用拦截、输出结构与事实校验。产品化的 AI 应用几乎都靠它兜住模型自身的不确定性。
对齐（Alignment）
让模型的目标与行为符合人类意图与价值观的研究方向，涵盖 RLHF、宪法式方法、可解释性等。落到产品上就是「该拒的拒、该讲清的讲清」。
红队测试（Red Teaming）
主动扮演攻击者去找模型与产品的漏洞：越狱、提示注入、数据泄露、危险能力探测。高风险场景上线前的红队报告正在成为合规要求。
评测基准（Benchmark）
标准化测试集，用来横向比较模型能力（MMLU、GPQA、SWE-bench 等）。两个提醒：分数存在被针对性优化的空间，榜单排名也不等于你的业务表现。
Agentic RAG
让模型自己决定「查什么、查几次、够不够」的检索增强：多轮调用检索工具、评估结果质量后再作答。比一次性检索更准，也更慢更贵。
流式输出（Streaming）
模型边生成边把 token 推给前端，用户看到文字逐字浮现。体感速度远好于等整段生成完毕，现在已是对话类产品的默认体验。
计算机使用（Computer Use）
让 AI 直接操作图形界面（看屏幕、点鼠标、敲键盘）来完成任务，不依赖对方提供 API。能力上限高但更慢也更易错，适合没有接口的遗留系统。
视觉语言模型（VLM）
同时理解图像与文字的模型（GPT 视觉版、Claude、Qwen-VL 等）。能读截图、表格与图表并回答，是「拍张照片问 AI」和计算机操作类 Agent 的基础。
视频生成模型
用文字或图片生成视频片段的模型（Sora、可灵、Runway 等）。目前实用场景集中在短片、广告素材与分镜预演，长镜头一致性与物理合理性仍是难点。
语音智能体（Voice Agent）
能实时听说、可被打断、能调用工具完成任务的语音 AI（客服、外呼、语音助手）。决定体验的关键指标是端到端延迟，而不是转写准确率。
提示工程（Prompt Engineering）
系统化设计输入以获得稳定输出的方法：角色、上下文、示例、输出格式，再加评测与迭代。与其说是写「咒语」，不如说是在定义接口与验收标准。
长上下文（Long Context）
模型单次可处理的超长输入能力（十万到百万 token 级），能把整本书或整个代码库塞进去。代价是成本更高，且存在「中段遗忘」——关键信息放头尾更稳。
智能体记忆（Agent Memory）
让 Agent 跨会话记住事实与偏好的机制：短期放在上下文里，长期存向量库或结构化档案，并用遗忘策略控制噪声。记忆质量常常决定 Agent 是否「越用越顺手」。
OpenAI 兼容接口
按 OpenAI 的请求/响应格式实现的接口，让同一套代码可以切换不同厂商或本地模型（DeepSeek、通义、Ollama 都提供）。迁移成本一降，模型真正变得可替换。
少样本学习（Few-Shot）
在提示里给几个输入输出示例，让模型照着样式完成任务（不给示例叫零样本，给 2-5 个叫少样本）。示例质量比数量重要，格式一致的效果最好。
DeepSeek-V3
深度求索发布的开源大模型，以极低的训练成本（约 558 万美元）达到一线闭源模型水平。API 价格仅为同级产品的几分之一，是「低成本高性价比」路线的代表。
Claude Code
Anthropic 推出的命令行 AI 编程工具，能读取整个代码库、自主执行多步任务（改代码、跑测试、提 PR）。与 Cursor 的区别是终端优先、面向工程自动化而非编辑器补全。
Gemini CLI
Google 开源的命令行 AI 编程助手，接 Gemini 模型，免费额度慷慨（个人每天 1000 次请求）。与 Claude Code 定位类似，是终端 AI 工作流的可选项。
GitHub Copilot
最早大规模商用的 AI 编程助手，深度集成于 VS Code/JetBrains 等编辑器，提供代码补全和聊天。新一代 Copilot 也加入了 Agent 能力（自主完成 issue）。
NotebookLM
Google 的「AI 笔记本」：上传文档后，AI 只基于你上传的内容回答问题（封闭式检索），幻觉率低。特色功能是把资料生成播客式音频解读。
Sora
OpenAI 的视频生成模型，从文字描述生成最长约 20 秒的视频。代表视频生成从「几秒片段」进入「可叙事短片」阶段，但物理合理性和长时一致性仍是难点。
Cursor
基于 VS Code 改造的 AI 原生代码编辑器：整库理解、多文件编辑、Agent 模式自主完成任务。AI 编程工具中商业化最成功的产品之一。
NotebookLM 替代品
与 NotebookLM 类似的「封闭式文档问答」工具：AnythingLLM、Open WebUI（接本地模型）、Kimi 文档问答等。选择逻辑：数据敏感选本地部署，多端协作选云端。
Vercel AI SDK
前端接入 AI 能力的事实标准工具库：统一接口调多家模型、流式输出、工具调用封装。用一套代码切换 OpenAI/Anthropic/本地模型。
MCP 服务器（MCP Server）
实现 MCP 协议的服务端程序，把某个工具或数据源（数据库、浏览器、GitHub）封装成 AI 可调用的标准接口。一个 MCP Server 可被所有支持 MCP 的客户端复用。
开源大模型（Open-Source LLM）
公开权重可自由下载部署的大模型（Llama、Qwen、DeepSeek 等）。优势是数据不出本地、可微调定制、无 API 依赖；代价是需要自己管算力和运维。
本地大模型（Local LLM）
在自己电脑或服务器上运行的大模型（通常用 Ollama、llama.cpp 等工具）。数据完全不出本机，无 API 费用；受限于本地算力，模型规模通常小于云端旗舰。
模型 API（Model API）
云端模型厂商提供的调用接口：按 token 计费，发请求返回生成结果。选型看四点：能力、价格、速度（TPS）、稳定性。主流厂商都提供 OpenAI 兼容格式。
分词器（Tokenizer）
把文本切成模型最小处理单位（token）的工具。同一段文字在不同分词器下 token 数不同，直接影响 API 计费和上下文占用。中文通常 1 字 ≈ 0.6-1 token。
微调 vs RAG：怎么选
教会模型「知识和事实」用 RAG（随时更新、可溯源）；教会模型「格式和风格」用微调（内化成能力）。多数业务场景 RAG 优先——成本更低、迭代更快。
AI 编程助手（AI Coding Assistant）
辅助写代码的 AI 工具统称，三种形态：编辑器内补全（Copilot）、AI 原生编辑器（Cursor）、终端 Agent（Claude Code）。选型看工作流：补全选 Copilot，重构选 Cursor，自动化选 Agent。
提示词模板（Prompt Template）
把固定结构和可变参数分离的提示词骨架（如「你是{角色}，请按{格式}总结{内容}」）。团队共享模板能让 AI 输出质量稳定可复现，是提示工程从个人技巧变成团队资产的关键。
嵌入模型（Embedding Model）
把文本转成向量的专用模型（不同于生成文本的 LLM），是语义搜索和 RAG 的地基。选型看语言支持（中文效果差异大）、维度和检索速度。
智能体框架（Agent Framework）
帮你搭建 AI 智能体的开发框架（LangChain、LlamaIndex 等），封装了模型调用、工具编排、记忆管理。适合快速原型；简单场景直接用 API 更轻。
推理引擎（Inference Engine）
高性能运行大模型的服务软件（vLLM、SGLang、TGI），优化显存和并发吞吐。自部署模型服务时的核心选型：吞吐量、延迟和显存利用率。
Ollama
本地运行大模型最流行的工具：一行命令下载和运行开源模型（ollama run qwen3:8b），自动管理模型文件，提供 OpenAI 兼容接口。Mac/Windows/Linux 全支持，是本地 AI 的事实入口。
RAG 与智能体的区别
RAG 是「给模型外挂知识库」的单向检索增强；智能体是「让模型自主规划和执行」的完整系统。智能体内部可以用 RAG 查资料，但两者解决的是不同层面的问题。
温度参数怎么设置
控制输出随机性：0-0.3 适合代码/翻译/事实问答（稳定）；0.7-1.0 适合创意写作/头脑风暴（发散）。多数产品默认 0.7；要求可复现结果时设为 0。
上下文窗口是什么意思
模型一次能「读入」的最大文本量，以 token 计（如 128K tokens ≈ 一本 20 万字的书）。超出部分模型看不到；窗口内也有「中段遗忘」现象——关键信息尽量放开头或结尾。
AI 幻觉怎么解决
没有根治方案，五个缓解手段：要求带引用来源、接入 RAG 提供事实底座、低温度采样、关键结论人工复核、用护栏系统拦截。可信场景 = 多重手段叠加。