Sky-Cube 幻觉检测Skill
适用场景
AI 专项测试环节,检测回答中的幻觉内容,量化幻觉率并定位来源。
执行步骤
- 采集真实输出样本(≥50 条,覆盖各业务场景)。
- 逐条核验幻觉类型:
- 事实错误:与事实依据矛盾(数值/日期/人名/规则)。
- 无依据陈述:无法在知识库/上下文中找到来源的断言。
- 编造引用:引用不存在的文档/条款/链接。
- 概念混淆:张冠李戴、错误归因。
- 判定流程:输出断言 → 在源材料中检索依据 → 有据→非幻觉;无据或矛盾→幻觉。
- 统计幻觉率(含幻觉的回答占比 + 单条幻觉密度),分场景/分类型拆解。
- 归因:RAG 检索失败 / 上下文截断 / Prompt 引导不足 / 模型能力。
规范要点
- 核验必须「穷尽检索」后再判无据:先在知识库与上下文中查找,找不到才算无依据,禁止凭印象判。
- 无法核验的断言单独归类「待核验」,不混入幻觉率。
- 每条幻觉必须留证:输出原文 + 核验结果 + 正确依据(如有)。
- 幻觉样本要回传给 Prompt 工程侧用于迭代模板。
输出模板
## 幻觉检测报告
| # | 输出原文 | 幻觉类型 | 核验依据 | 归因 |
## 幻觉率统计(分场景/分类型)
自检清单
- 核验穷尽检索后判定
- 每条幻觉有证据链
- 待核验项与幻觉率分离
- 有归因与改进方向