RLHF（人类反馈强化学习）
让人类对模型的多个回答排序，用这些偏好数据训练奖励模型，再强化学习优化——是让 LLM“听话、有帮助、无害”的关键对齐技术。
对齐（Alignment） AI Alignment
让模型的目标与行为符合人类意图与价值观的研究方向，涵盖 RLHF、宪法式方法、可解释性等。落到产品上就是「该拒的拒、该讲清的讲清」。
相关术语
护栏（Guardrails）
模型之外加的输入输出检查层：内容过滤、越权工具调用拦截、输出结构与事实校验。产品化的 AI 应用几乎都靠它兜住模型自身的不确定性。
红队测试（Red Teaming）
主动扮演攻击者去找模型与产品的漏洞：越狱、提示注入、数据泄露、危险能力探测。高风险场景上线前的红队报告正在成为合规要求。