提示注入（Prompt Injection）
攻击者把恶意指令藏进文本、网页或文档里，诱导 AI 忽略原指令执行危险操作。接入外部内容的应用必须把它当安全边界处理。
红队测试（Red Teaming） Red Teaming
主动扮演攻击者去找模型与产品的漏洞：越狱、提示注入、数据泄露、危险能力探测。高风险场景上线前的红队报告正在成为合规要求。
相关术语
护栏（Guardrails）
模型之外加的输入输出检查层：内容过滤、越权工具调用拦截、输出结构与事实校验。产品化的 AI 应用几乎都靠它兜住模型自身的不确定性。
对齐（Alignment）
让模型的目标与行为符合人类意图与价值观的研究方向，涵盖 RLHF、宪法式方法、可解释性等。落到产品上就是「该拒的拒、该讲清的讲清」。