Proposition Audit Anthony Searle

主张审计（Proposition Audit）— AI 输出信任核验

简介

• 法域： 英格兰和威尔士（所维护的领域路由档案；其他法域在步骤 2 下举例说明）。
• 实务领域： 临床过失和医疗法（所维护的示例领域；该方法可泛化适用于任何需要结构化核验 AI 起草事实内容的领域）。
• 目标用户： 在专业依赖 — 出版、法院使用、正式对外使用或内部依赖 — 之前核验 AI 生成的事实性或解释性内容的执业者。

目的

AI 生成的研究、统计数据、引注和事实主张在专业使用前需要结构化核验。本技能提供系统性的事后审计 — 按类型和显著性对每项主张进行分类、在领域适当的来源中检索、透明地评分可信度，并标记需要关注的内容。

这是对生成过程中严谨性的补充而非替代。它是应用于已完成输出的独立核验层。

核验流程

步骤 1：商定阈值

在开始核验之前，询问此用例适用的最低标准。如果用户没有偏好，提供这些默认值：

• 出版或正式对外使用（论点纲要、博客文章、已发布意见、法院文件、监管提交、存档的对外函件）：90%+（经验性）、Accurate（法律性）、Fair（修辞性）。低于阈值的删除或独立核验。
• 内部工作文件（供审阅传阅的草稿、内部研究笔记、工作文件）：70%+。标记低于阈值的陈述，但可在附说明的情况下保留。
• 探索性研究（用于识别进一步调查方向的早期研究）：50%+。目的是识别哪些主张值得进一步调查，而非产出最终核验输出。

步骤 2：提取和分类主张

从输出中提取每一项不同的事实性或解释性主张。将复合句拆分为其构成子主张 — 每项独立核验，因为一个句子可以半对半错。当单个句子包含不同类型的主张（如引注加经验数据）时，拆分它；每个子主张独立分类和评分。

按类型对每项主张分类：

• 经验事实 — 关于世界的可核验陈述（统计数字、日期、具名事件）。通过来源佐证核验。
• 引注或参考文献 — 声称的来源、案件、研究或权威。通过定位主要来源并确认它确实说了被归属的内容来核验。
• 法律或监管命题 — 关于法律、法规或程序规则的陈述。通过定位主要立法或司法来源并评估命题是否准确反映它来核验。仅数来源在此处不够，因为法律准确性取决于解释的精确性，而非一致意见的数量。
• 解释性或分析性主张 — 从证据得出的结论（"这暗示 X"、"趋势表明 Y"）。这些无法通过佐证核验。相反，评估基础证据是否存在、推理是否健全、是否存在可信的相反解释，以及对方立场是否被公平呈现（参见步骤 4 的修辞公平性）。标记而非评分。

然后为每项主张分配显著性级别：

• 承重（Load-bearing） — 周围论证取决于此主张。如果该主张有误，论证失败或大幅削弱。
• 支撑性（Supporting） — 强化论证，但对其并非严格必需。
• 示例性（Illustrative） — 用作示例、点缀或背景。论证不受移除影响。

显著性决定步骤 5 中的比例化整改。承重主张需要第一级佐证；示例性主张快速过一遍即可。仅当每项主张都真正承重时才适用统一审查，而这很少见。

步骤 3：检索来源

使用适合主张类型的来源检索独立佐证。不要仅凭训练数据核验 — 每项主张都需要主动网络搜索，因为本技能的全部意义就是对照外部现实检查模型"知道"的内容。

来源层级：

• 第一级（决定性的）：
  • 临床： Cochrane 系统评价、NICE 指南、SIGN 指南、皇家学院指南（RCOG、RCS、RCP、RCPCH）、相关专科的同行评审期刊。
  • 法律： 主要立法（legislation.gov.uk）、报道的司法判决（caselaw.nationalarchives.gov.uk、BAILII）、《民事诉讼规则》和实务指引、论坛的相关程序规则。
  • 统计： 国家统计局（Office for National Statistics）、官方政府数据、原始研究数据集。
  • 一般经验性： 同行评审期刊、监管机构的官方产出。
• 第二级（权威的）： 成熟新闻机构（原创报道，非辛迪加）、大学研究中心、公认的专业和行业机构、法律委员会报告、Hansard、MDU/MPS 指南。
• 第三级（支撑性）： 信誉良好的行业报告、公认的专家评论、专业行业出版物、成熟执业者博客。

领域特定检索路由：

通用网络搜索对技术性主张表现不佳 — 它浮现二手转述而非主要来源。相应路由：

• 临床或医疗主张 → 先 PubMed、Cochrane Library、NICE、SIGN 和相关专科指南，再通用网络搜索。
• 法律主张（英格兰和威尔士） → 先 legislation.gov.uk、caselaw.nationalarchives.gov.uk、BAILII 和相关程序规则，再通用网络搜索。
• 法律主张（其他法域，举例说明） → 美国用 CourtListener 和 Westlaw、欧盟用 EUR-Lex、其他法域用相关的主要来源服务。上述英国路由是所维护的档案；其他为举例说明，应对照该法域的实际主要来源登记簿确认。
• 统计主张 → 定位原始数据集或研究，而非对它的二手转述。
• 数额或算术主张（乘数 × 被乘数、定期付款计算、预期寿命调整、损失清单运算） → 对照来源提供的输入进行确定性重算。不要搜索；算术可通过重算核验，而网络搜索在数字推理上表现不佳。

步骤 4：为每项主张评分

在 0–100% 量表上为经验事实和引注评分。来源质量权重大于数量 — 一个决定性来源比几个薄弱来源更有价值，因为解决临床问题的 Cochrane 评价比三篇互相转述的新闻文章更可靠。两个特殊裁定（Unverifiable、Interpolated）位于数字量表之外，并在各自的失败模式中优先。

重要区别：

• "未找到"不是"被反驳"。如果网络搜索无法浮现足够来源，将主张标记为Unverifiable，而非给低分。此区别很重要，因为低分暗示找到了证据且证据薄弱，而 Unverifiable 意味着审计本身有缺口。用户随后可以决定是否通过其他方式寻求核验。
• 对引注主张，评分该来源是否存在并说了被归属的内容。部分准确（案件名称正确、段落引用错误）落在 50–69 并注明差异；附着在真实引注上的虚构子主张落在 Interpolated。
• 当主张接近准确但不精确（四舍五入的统计数字、略被误述的日期）时，注明差异，而非简单通过或失败。

法律和监管命题获得定性评估而非数字分数：

• Accurate（准确） — 精确反映主要来源。
• Broadly accurate（大体准确） — 反映实质内容，但有细心读者会注意到的轻微不精确。
• Incomplete or misleading（不完整或误导） — 省略了改变命题效果的重大限定或背景。
• Inaccurate（不准确） — 误述主要来源。

说明所查阅的主要来源和任何解释性细微差别。数字评分在此处不适当，因为法律准确性关乎解释的精确性，而非佐证数量。

解释性或分析性主张不评分。标记四个维度：

• 证据基础 — 主张所依赖的基础证据存在吗？
• 逻辑健全性 — 从证据到结论的推断成立吗？
• 相反解释 — 是否存在主张未予回应的重大反论或相反解释？
• 修辞公平性 — 对方立场如何呈现？使用以下之一：
  • 公平（Fair） — 对方立场以其最强版本呈现。
  • 倾斜（Slanted） — 呈现中存在选择偏差；只浮现对方观点中较薄弱的部分。
  • 稻草人（Strawman） — 攻击被削弱或扭曲版本的对方观点。
  • 不厚道（Uncharitable） — 对方观点以一种其支持者不会认出的形式呈现。

对案例评论、分析性写作和论点纲要，修辞公平性往往是实质性失败模式 — AI 可能在事实上准确，但在论证上对败诉方不公平。对这一类别，公平性评估至少与事实评分同等重要。

步骤 5：产出审计报告

默认以结构化行内文本呈现报告。仅在被明确要求，或输出包含超过 15 项单独核验的主张时，才产出 HTML 工件。

包括：

1. 摘要 — 已核验主张总数、按类型和显著性的分解、总体信心评估以叙述形式给出（而非单一平均数字 — 平均值掩盖了"大部分扎实但有一项糟糕的承重主张"与"示例性主张普遍平庸"之间的区别）。
2. 逐项主张结果 — 每项主张从原始输出逐字引用、其分类（类型 + 显著性）、分数或定性评估、所查阅来源（有 URL 时附上）以及任何保留。
3. 来源分歧 — 当查阅的权威来源在同一要点上分歧时（临床问题上的 NICE vs RCOG；领先案件中的多数和异议推理；同一指标上的 ONS vs 研究论文数据），明确呈现分歧而非对来源取平均。指南和权威冲突往往是临床过失争议中的实质要点，应作为发现浮现。
4. 行动事项 — 低于适用阈值的主张，按显著性校准：
   • 低于阈值的承重主张 — 在依赖前整改；论证不能建立在未经核验的承重主张上。
   • 低于阈值的支撑性主张 — 在可行处整改；如整改不成比例，可在附明确保留的情况下保留。
   • 低于阈值的示例性主张 — 移除而不重建论证；无法核验的示例性主张不值得承担审计风险。

局限与假设

本技能产出结构化审计；它不产出确定性。具体局限：

• 付费墙来源。 当主要来源在付费墙之后（Westlaw、LexisNexis、某些医学期刊）时，技能标记该引注并在可用时查阅摘要，但不检索正文。裁定以"paywalled — abstract only"保留报告。在依赖仅基于付费墙的承重主张评估之前，通过机构访问获取全文核验。
• 对网络搜索的依赖。 没有主动网络搜索，本技能毫无用处。如果宿主平台的网络搜索工具不可用或受速率限制，技能无法执行核验步骤，必须将每项经验性和引注主张报告为 Unverifiable 并说明原因。在确认网络搜索可用之前，不要运行本技能。
• 本技能不做什么。 三件事配套技能做得更好，在失败模式占主导时应求助于它们：
  • 跨多个 LLM 批评者的内部一致性检查，以及在生成时点的跨模型族分歧信号： 参见 Verity (Johnny Ryan / ICCL Enforce)，设计为在生成期间作为主模型调用的 MCP 运行。
  • 所附引注的引注保真度评分 — 被引来源是否支持被归属的命题，即使在提供来源时？参见 mhalle's claim-audit，设计用于引注出处的事后审计。
  • 逐步推理的推理轨迹核验： 超出任何结构化审计技能的范围。需要人工审阅。
• 配套使用。 当失败模式占主导时，直接求助于上述配套技能。三者结合良好：生成期幻觉最小化（Verity）、事后引注保真度评分（mhalle's claim-audit），以及带领域路由检索和修辞公平性评估的事后按主张类型分类核验（本技能）。

原则

1. 每项经验性和引注主张在对照领域适当来源进行主动检索之前都被视为未核验。模型的先前知识不是审计来源 — 只有可检索的、当前的材料才是。
2. 来源质量胜过来源数量。一个决定性来源足以获得高分。
3. 当检索无法浮现足够来源时，使用 Unverifiable 标记 — 而非低分。低分暗示找到了证据且证据薄弱；Unverifiable 意味着审计本身有缺口，用户随后可以决定是否通过其他方式寻求核验。
4. 法律命题需要对主要来源进行解释性评估，而非数来源。
5. 显著性决定比例化整改。把审计预算花在论证转折处，而非对每项主张均匀投入。
6. 审计为执业者提供信息；它不作出裁判。裁定列描述证据对每项命题的支持力度。专业决定在于用户。
7. 不要静默放过难以核验的主张。如果某项主张的核验不切实际，明确说明并解释原因。

示例

源文本：

"In Smith v Jones [2024] EWHC 999 (KB), the High Court held that the standard of care for a junior doctor is the same as that for a consultant, following Bolam v Friern Hospital Management Committee [1957] 1 WLR 582."

按出版阈值审计：

• 子主张 1。 "Smith v Jones [2024] EWHC 999 (KB)" — 引注；承重；被反驳（0–9）。caselaw.nationalarchives.gov.uk 和 BAILII 在此中性引注下均无判决。该案件是虚构的。
• 子主张 2。 "初级医生的注意标准与顾问医生相同" — 法律命题；承重；不准确。既定立场是初级医生按其任职岗位的适当标准被衡量，而非顾问医生的标准。权威是上诉法院 Wilsher v Essex AHA [1987] QB 730（per Mustill LJ），而非 Bolam。
• 子主张 3。 "following Bolam v Friern Hospital Management Committee [1957] 1 WLR 582" — 引注；承重；不准确。Bolam 存在且是一般专业过失测试（负责任的医学意见团体测试），但不涉及初级医生校准。该命题应正确归属 Wilsher。

行动事项：在出版阈值下每项子主张均失败。重写该段落 — 用 Wilsher v Essex AHA [1987] QB 730 作为初级医生标准的权威，移除虚构的 Smith v Jones 引注，并重述命题以反映实际测试（所任岗位的标准），而非顾问等同表述。