提示注入(Prompt Injection)
攻击者把恶意指令藏进文本、网页或文档里,诱导 AI 忽略原指令执行危险操作。接入外部内容的应用必须把它当安全边界处理。
模型之外加的输入输出检查层:内容过滤、越权工具调用拦截、输出结构与事实校验。产品化的 AI 应用几乎都靠它兜住模型自身的不确定性。
攻击者把恶意指令藏进文本、网页或文档里,诱导 AI 忽略原指令执行危险操作。接入外部内容的应用必须把它当安全边界处理。
让模型的目标与行为符合人类意图与价值观的研究方向,涵盖 RLHF、宪法式方法、可解释性等。落到产品上就是「该拒的拒、该讲清的讲清」。
能自主规划步骤、调用工具、根据反馈调整行动的 AI 系统。聊天模型“你问我答”,Agent“给你办事”——订票、改代码、跑数据都算。