ahang1598 幻觉守卫
一、适用场景
- AI辅助撰写的专利交底书需要排查幻觉
- 需要验证引用的专利号、DOI、URL、参数、日期是否真实
- 需要建立引用溯源索引供人工核验
- 需要进行零幻觉最终验收
二、五步幻觉检查体系
第0步：引用捕捞（全文关键词检索）
目标：将交底书中所有"事实性声明"全部捕捞出来
关键词清单：
据、指出、显示、载明、披露、证了、表明、参见、依据、按照、符合、
对比、参照、源自、来源于、参考、引用、文献、专利、标准、datasheet、
手册、论文、IEEE、ACM、DOI、URL、http
输出：《引用捕捞清单》，分类为：
- 显性引用（有编号/DOI/URL）
- 隐性引用（无编号的技术声明、行业常识、对比数据）
本项目案例：捕捞27项引用（18显性+9隐性），涵盖专利/datasheet/论文/标准/法规/实验数据6类。
第1步：工具初筛（WebSearch + WebFetch）
目标：对每条引用进行在线核验
操作：
- 对每个专利号在国知局/Google Patents搜索
- 对每个DOI/URL用WebFetch尝试访问
- 对每条引述用WebSearch验证原文一致性
输出：《工具初筛报告》，标注：
- ✅ 已核验（找到了，内容一致）
- ⚠️ 待人工（网站拦截或需登录）
- ❌ 未找到（可能虚构）
第2步：初筛结果优化（FP/FN处理）
| 类型 | 含义 | 处理方式 |
|---|---|---|
| FP（假阳性） | 工具判risky但实际OK | 人工确认后标记为✅ |
| FN（假阴性） | 工具判OK但实际有问题 | 逐项复核，重点查日期/卷期号 |
本项目案例：发现2个FN（ACM论文卷期号52(5)实际为52(3)、海康专利申请公布日不确定）。
第3步：引用缩表自查（按论证链衔接）
目标：将引用按论证链组织，检查链内衔接完整性
论证链示例：
链A：现有技术缺陷 → 本发明区别 → 技术效果
链B：技术分级 → 学术溯源 → 调度策略
链C：硬件实现 → datasheet → 实施例
链D：法律合规 → 法规引用 → 申请要求
输出：《三合一缩表》，每条引用标注：
- 出处核验状态
- 公开日/版本
- 法律状态/权威性评级
- 在文中的作用
- 引述回原一致性
权威性评级：
| 等级 | 来源类型 |
|---|---|
| ⭐⭐⭐⭐⭐ | 国知局/IEEE/全国人大/ACM A类期刊 |
| ⭐⭐⭐⭐ | 原创厂商官方datasheet |
| ⭐⭐⭐ | 权威分销商datasheet |
| ⭐⭐ | 发明人自测数据（需标注局限性） |
第4步：人工抽查回放
目标：用户对缩表中每条引用进行人工浏览器核验
三链跳转系统：
- 📄 正文定位：Ctrl+F搜索关键词，看上下文
- 🔗 溯源网站：点击URL进入源网站
- 🎯 锚点定位：在源网站中搜索特定编号/标题
交互核查框格式：
> 🔍 人工核查（编号-引用名称）
> 核验URL: [链接]
> 锚点：搜索 "关键词" → 确认具体内容
> 【编号·1️⃣】 ✅ 没问题（打开了，找到了对应内容）
> 【编号·2️⃣】 ⚠️ 打开了，但没找到对应内容，请核实
> 【编号·3️⃣】 ❌ 链接打不开，请核实
用户回复格式：在对话中回复"编号+选项号"，如"P1 1"表示P1没问题。
第5步：零幻觉验收（五项标准）
| 标准 | 要求 | 验收方法 |
|---|---|---|
| 零虚假引用 | 所有编号/DOI/URL可跳转 | 逐项打开验证 |
| 零引述偏差 | 每句引述与原出处一致 | 逐字/逐意对照 |
| 零逻辑断裂 | 每条论证链衔接严密 | 检查链内环节 |
| 零术语漂移 | 同一概念全文统一 | 全文搜索检查 |
| 零合规漏洞 | 公开日不晚于申请日 | 逐项核对日期 |
第5.1步：AI红队复核
方法：逐条追问"我是否可能基于训练记忆编造了中间论证环节、页码或数据"
追问维度：
- 外部引用：编号/日期/卷期号/发明人是否可能记错？
- 实验数据：参数/阈值/权重是否有实验依据还是随意设定？
- 技术假设：未来演进假设是否标注为"假设"？
- 算法公式：是否自洽？量纲是否正确？
三、溯源性与权威性规则
9类信息类型的溯源要求
| 信息类型 | 溯源要求 | 权威性要求 |
|---|---|---|
| 对比专利 | 公开号+公开日+公开URL | 国知局/USPTO/EPO官方数据库 |
| 学术论文 | DOI或可访问URL | SCI/EI/核心期刊或arXiv |
| 技术标准 | 标准号+条款号 | ISO/IEEE/ITU/GB等官方标准组织 |
| 硬件型号 | 型号+厂商datasheet链接 | 厂商官方datasheet或权威分销商 |
| 实验数据 | 实验环境声明+原始数据可查 | 测试机构资质或自测报告署名 |
| 参数范围 | 实验确定依据或理论推导 | 实验记录、仿真报告、文献引用 |
| 法律条款 | 法条全称+条款编号 | 官方法律法规数据库 |
| 假设性内容 | 明确标注"假设"+引用支撑文献 | 权威预测报告或标准草案 |
| 自创概念 | 学术溯源或明确标注为"本发明定义" | 学术论文、技术白皮书、明确定义 |
7条违规判定规则
- ❌ 无公开URL的专利引用 → 违规
- ❌ 无实验依据的参数范围 → 违规
- ❌ 无标准文献支撑的未来技术假设 → 违规
- ❌ 无datasheet引用的硬件型号 → 违规
- ❌ 无测试环境声明的实验数据 → 违规
- ❌ 随意设定的权重值/阈值 → 违规
- ❌ 自创概念无学术溯源 → 违规
四、本项目实战经验
已发现的7类AI幻觉问题
| 类型 | 案例 | 严重度 |
|---|---|---|
| 虚构专利号 | CN201921056789.X（各大数据库均查不到） | 🔴严重 |
| 虚构论文 | IEEE Yang J 2022（多次搜索无结果） | 🔴严重 |
| 公开日错误 | CN116168499A写2023-06-02实际2023-05-26 | 🟡中等 |
| 公开日严重错误 | CN121410835A写2025-05-16实际2026-01-27 | 🔴严重 |
| 卷期号错误 | ACM论文52(5)实际52(3) | 🟡中等 |
| 申请公布日不确定 | 海康专利日期需人工核验 | 🟡中等 |
| 标题不完整 | 南开专利漏"与入侵检测" | 🟢轻微 |
URL修复经验
WebFetch常被网站安全验证拦截，需准备备用链接策略：
- 厂商官网打不开 → 换权威分销商页面
- 官方首页找不到 → 直接给具体文章URL
- 单链接打不开 → 增加备用链接
五、输出物清单
| 交付物 | 内容 |
|---|---|
| 交付物1 | 引用捕捞清单（全量） |
| 交付物2 | 工具初筛报告 |
| 交付物3 | 三合一缩表（按链+权威性评级） |
| 交付物4 | 人工抽查备忘录（精简版，仅待核验项） |
| 交付物5 | 零幻觉验收报告（五项标准+红队复核） |
六、输入输出定义
输入
| 参数 | 类型 | 说明 |
|---|---|---|
| 交底书MD | file | 待检查的交底书文件 |
| 检索关键词清单 | list | 引用捕捞用关键词 |
输出
| 参数 | 类型 | 说明 |
|---|---|---|
| 交付物1-5 | files | 5份幻觉检查交付物 |
| 溯源索引系统 | file | 索引溯源系统.md |
| 问题清单 | list | 发现的AI幻觉问题及修复状态 |
七、人机交互节点
| 节点 | 位置 | 用户操作 | 通过条件 |
|---|---|---|---|
| 引用核验（关卡A） | 第4步 | 逐项打开URL，回复编号+选项号 | 全部引用核验通过 |
| 二次确认 | 修复后 | 对修复项二次核验 | 修复项全部通过 |
八、工具局限性与Workaround
| 局限性 | 影响 | Workaround | 实战经验 |
|---|---|---|---|
| WebFetch被网站安全验证拦截（403/503） | 无法自动验证URL内容 | 换WebSearch搜索同一内容的镜像页；准备备用URL | 本项目5项URL修复均因此 |
| 搜索引擎结果地域差异 | 同一关键词不同地区结果不同 | 中英文双语检索；换Google/Bing/DuckDuckGo | 中文专利号用国知局搜索更准 |
| 学术论文付费墙 | 无法访问全文验证引述内容 | 搜索开放获取版本（arXiv/ResearchGate）；只验证摘要和标题 | DOI链接常被付费墙拦截 |
| 专利数据库更新延迟 | 新公开专利可能未即时收录 | 交叉验证多个数据库（国知局+Google Patents） | 海康专利公开日需多源验证 |
| 幻觉检查本身可能产生幻觉 | AI在验证过程中可能误判 | 工具初筛仅作参考，人工核验为最终标准 | FN（工具判OK但实际有问题）需重点关注 |
核心原则：工具初筛是第一道防线，人工核验是最终防线。工具失败不阻塞流程，标记为"人工待办"即可。