幻觉(Hallucination)
模型自信地编造不存在的事实、引用或数据。根治尚无方案,缓解手段:要求引用来源、接入 RAG、对关键事实人工复核。
没有根治方案,五个缓解手段:要求带引用来源、接入 RAG 提供事实底座、低温度采样、关键结论人工复核、用护栏系统拦截。可信场景 = 多重手段叠加。
模型自信地编造不存在的事实、引用或数据。根治尚无方案,缓解手段:要求引用来源、接入 RAG、对关键事实人工复核。
回答前先从外部知识库检索相关资料,再交给模型生成答案。解决模型知识过时与“一本正经胡说”的问题,企业知识库问答的标准架构。
模型之外加的输入输出检查层:内容过滤、越权工具调用拦截、输出结构与事实校验。产品化的 AI 应用几乎都靠它兜住模型自身的不确定性。