Fact Verify

fact-verify — 출처 검증 게이트

리서치 결과를 믿기 전에 돌리는 검증 단계다. AI(또는 사람)가 수집한 주장·수치·인용을 출처 단위로 분해하고, 세 단계 프로토콜로 통과/보류/거부를 판정한다.

설계 전제(회의론자 자세): 기본 상태는 의심이다. 증거가 있어야 통과한다. "AI가 작성했을 가능성"을 상수로 가정하고, 그럴듯한 주장일수록 더 엄격히 본다. 불확실하면 포함하지 않는 쪽을 택한다 — 브리핑의 신뢰는 한 번 깨지면 회복이 어렵다.

입력

두 형태를 받는다:

1. 구조화 입력: 주장 — 출처(URL/서지) 쌍의 목록 (다른 에이전트·스킬의 조사 산출물)
2. 자유 텍스트: 브리핑·보고서 초안·기사 초고 — 이 경우 먼저 텍스트에서 "사실 주장 + 붙어 있는 출처"를 추출해 검증 대상 목록을 만들고, 출처가 아예 없는 사실 주장은 그 자체로 NO_SOURCE 플래그를 단다.

검증 깊이 (기본: standard)

3단 검증 프로토콜

Step 1. 출처 Tier 분류

references/tier-rules.md의 기준으로 모든 출처를 분류한다.

• Tier 1 정부·기관 공식 (.go.kr, .gov, europa.eu 등) — 단독 근거 가능
• Tier 2 학술·국책연구 (peer-reviewed 학술지, KCI 등재지, KISTEP·STEPI 등 국책연, 주요 싱크탱크) — 단독 근거 가능
• Tier 3 주요 언론 — 가능하면 2개 이상 독립 언론 확인
• Tier 4 블로그·SNS·커뮤니티·익명 — 단독 근거 절대 불가. 원출처를 찾아 확인되면 그 원출처의 Tier로 승격

도메인이 목록에 없으면 성격을 판단해 보수적으로(낮은 쪽으로) 분류하고 "판정 근거"를 기록한다.

Step 2. 교차 일관성 검증 (deep, 또는 핵심 주장)

2-A. 출처 독립성 — 재인용 체인 감지 (이 스킬의 핵심 기능)

❌ 가짜 교차 검증:
  주장 X가 매경·한경·서울경제 3곳에서 보도됨
  → 세 기사 모두 "과기부 보도자료"를 받아쓴 것이면 실은 출처 1개다.

✅ 진짜 교차 검증:
  주장 X가 ① 정부 공식 발표 ② 독립 취재 기사 ③ 학술지 논평에서
  일관되게 나타남 → 독립 출처 3개.

확인 방법:

• 각 기사 원문에서 "○○가 밝혔다/발표했다/보도자료에 따르면" 같은 공통 원천 표지를 찾는다
• 동일 보도자료·공고·논문으로 이어지는 인용 체인을 추적한다
• 독립 출처 수를 세어 기록한다 (재인용은 1개로 합산)

2-B. 수치·날짜·인명 일관성

• 여러 출처가 같은 수치를 보고하는가? 불일치(예: "투자 100조" vs "50조") 발견 시 원출처를 확인해 어느 쪽이 정확한지 판정하거나 NEEDS_REVIEW로 보류한다.

Step 3. 실존 확인 (할루시네이션 체크)

• URL: 실제로 fetch한다. HTTP 404 → REJECT(할루시네이션 의심). 200이지만 주장 내용이 그 페이지에 없음 → REJECT(출처-주장 불일치). 페이월·로그인 필요로 확인 불가 → NEEDS_REVIEW(오류로 단정하지 않음).
• 식별자 형식·실존:
  • DOI: 10.XXXX/... 형식 → https://doi.org/<DOI> 리다이렉트 확인, 메타데이터(제목·저자)와 대조
  • arXiv: YYMM.NNNNN 형식 → arxiv.org/abs/에서 실존·제목 확인
  • NTIS 과제번호: 10자리(예: 1711XXXXXX) 형식 검사
  • ISBN: 체크디지트 검사 + 국립중앙도서관 조회
• 날짜·수치 정합성: 발표일이 원문 날짜와 일치하는가, 인용 수치가 원문 수치와 정확히 일치하는가(단위·기준연도 포함), 미래 시점 서술이 현재와 모순되지 않는가.

Step 3-D. 한국 학술·정책 출처 검증 (v1.1)

CrossRef·arXiv·Semantic Scholar 같은 국제 DB는 국문 학술지·국책연 보고서·정부 간행물을 거의 못 잡는다. 한국 정책·학술 문헌은 DOI가 없는 경우가 많아, 국제 도구로 "확인 불가"가 뜬다고 실재하지 않는 것이 아니다. 아래 한국 검증원으로 별도 확인한다.

검증 절차:

1. 저자·제목·연도·게재지로 위 검증원을 조회한다(정확 일치가 없으면 제목 부분일치로 후보 제시).
2. 조회 결과의 서지정보(게재지명·권호·연도)를 인용과 대조한다 — 특히 연도·권(호) 오기와 학회지명 오기를 잡는다.
3. 어디에서도 확인되지 않고 국제 DB에도 없으면 → 🔴 REJECT("환각 출처 의심: 국내외 검증원 모두 미확인").
4. 공개 검색으로는 접근되나 API 키가 없어 구조화 확인이 안 되는 경우 → 확인된 사실은 VERIFIED로, 불확실한 건 NEEDS_REVIEW로 정직하게 구분한다.

접근 등급(graceful degradation). 이 스킬은 키 없이도 동작한다 — 기본은 각 포털의 공개 검색 페이지를 WebFetch하고 CrossRef(무키)를 병행한다. 사용자가 공공데이터포털 인증키(무료, 자체발급)를 환경에 설정해 두면 KCI·RISS·국회도서관 API로 정밀·대량 검증으로 자동 승급한다. 키는 요구사항이 아니라 성능 옵션이며, 없을 때 있는 척하지 않는다.

실전 보강 규칙 (v1.2 — 2026-08-15 재료연 브리핑 25건 재검증에서 채굴)

R1. 자동조회 차단 사이트 대응 — "404/403이 곧 허위 출처는 아니다"

정부·기관 사이트 다수가 봇을 차단한다(실측: energy.gov 404, iaea.org 402, science.org 403, ukri.org 404, moore.org 404, nature.com 로그인벽, nsfc.gov.cn SSL 오류, hbr.org 제한). 또한 HTTP 200이어도 JS 렌더링 페이지는 본문 추출이 실패할 수 있다(실측: arpa-e.energy.gov — 내비게이션만 반환). 절차:

1. fetch 실패·빈 본문 → 즉시 REJECT 금지. 검색엔진 색인·캐시로 해당 문구를 확인하고, 확인되면 판정을 NEEDS_REVIEW(차단-색인확인)으로 세분 표기한다.
2. 대체 경로를 시도한다: 같은 기관의 다른 URL(보도자료·PDF 직링크·간행물 페이지), 공식 배포 채널(EurekAlert=기관 보도자료 배포, grants.gov=연방 공고 원문, CORDIS=EU 과제 공식), 신뢰 가능한 재게시(대학 연구지원부서 공지 — 복수 대학이 일관되면 교차 성립).
3. 최종 산출물에는 상태를 정직하게 표기한다: 〔검증〕(원문 직접 대조) / 〔색인확인〕(차단 — 색인·교차로 확인, 배포 전 육안 확인 권장) / 〔2차〕. 이 3단 표기를 표준으로 쓴다.

R2. 문장 분해 원칙 — "한 문장 안의 수치 N개 = 검증 항목 N개"

실측된 최다 오류는 허위 출처가 아니라 맞는 수치에 검증 안 된 파생·부가 수치가 딸려 들어가는 것이었다(예: 배출 200명〔원문 있음〕+ 정년직 60명〔원문 없음〕 / 총액 5,000억〔원문 있음〕+ "각 2,500억"〔단순 2등분 역산〕 / 조문 내용〔원문 있음〕+ "제25조"〔재구성〕). 규칙:

• 문장을 수치·고유명사 단위로 분해해 각각 원문 대조한다. 하나라도 원문에 없으면 그 부분만 잘라내거나 "산출치·추정"임을 명기한다.
• 직접인용(따옴표)은 원문에 그 표현이 문자 그대로 있을 때만 유지 — 취지만 같으면 따옴표를 벗겨 의역으로 전환한다(실측: "kill criteria agreed in advance"는 취지는 맞으나 문구 부재 → 의역 전환).
• 조사 지시서에 다음 문구를 넣는다: "원문에 문자 그대로 있는 것과 계산·추정으로 만든 것을 구분 표기하라."

R3. 자기보고 표본 재검증 — 타 에이전트 조사물을 검증할 때

'검증완료' 표기는 조사자의 자기보고다. 미검증분 전수 확인에 더해 '검증완료' 표기 중 20~30%를 표본 추출해 독립 재검증한다(실측: 표본 7건 중 3건에서 부가 수치 미검증 적발). 표본에서 문제가 나오면 같은 조사자의 다른 '검증완료'도 등급을 한 단계 낮춰 취급한다.

R4. 추가 점검 3종 (고빈도 오류 유형 보강)

• ⑬ 프로그램 현존 확인: 인용하는 제도·프로그램(해외 포함)이 지금도 운영 중인가 — 종료·마지막 기수·개편·공모 중단을 확인해 단서를 단다(실측: Moore Inventor Fellows 2025년 10기로 종료, 대만 跨世代 공모 중단 — 각주 미반영 상태로 발견).
• ⑭ '상충'으로 보이는 수치의 범위 확인: 두 수치가 어긋나 보이면 상충 판정 전에 집계 범위·모수가 같은지 먼저 본다(실측: 'SEK 27억 vs 30억'은 사업 단위 vs 패키지 전체 — 상충이 아니라 범위 차이).
• ⑮ 규정 수치는 법규·요강 원문 우선: 연령·금액·자격요건은 대학·재외공관·블로그의 요약본에서 오기가 빈발한다(실측: 대만 Columbus 연령 '35세' 오기 유통 — 정부 법규 원문으로 38세 확정). 요약본끼리 어긋나면 법령·모집요강 원문을 찾아 판정한다.

R5. 산출물 배포 게이트 (standing rule)

출처·각주가 달린 산출물은 작성 완료 ≠ 배포 가능이다. 배포 전 이 스킬을 standard 이상으로 실행하고(신규 문서: 미검증분 전수 + 검증완료 표본 / 기존 문서 재배포: 변경분), 판정 요약(✅/⚠️/❌ 건수)과 정정 내역을 사용자에게 보고한 뒤 배포한다. 검증 보고서는 산출물 옆에 파일로 남긴다(예: NNa_재검증_보고서.md).

판정 규칙

고빈도 오류 유형 (실전 채굴 체크리스트)

URL이 살아 있고 문헌이 실재해도 주장은 틀릴 수 있다. 아래는 정부 R&D·정책보고서 검증에서 반복 적발된 유형으로, 출처 실존 확인만으로는 절대 잡히지 않는다. 각 항목을 별도로 물어라.

① 지표 혼동 (가장 흔하고 가장 치명적) 서로 다른 지표를 한 문장에 이어 붙이면 각 수치가 맞아도 문장 전체가 거짓이 된다.

• "정부 R&D 예산"(정부 재원) vs "총연구개발비/GDP"(민간 78% 포함) — 후자를 "국가 R&D 투자 비율"로 부르면 오도.
• 예산 vs 집행, 계약 약정액(최대 상한) vs 실지급액, 누적 총액 vs 연간액. → 묻기: 이 수치의 분자·분모·재원 범위가 문장의 주어와 같은가?

② 기준연도 표류 수치는 맞는데 연도가 다른 경우. 2018년 통계를 연도 표기 없이 현재형으로 쓰거나, 비교 대상국만 다른 연도인 경우(한국 2024년 vs 이스라엘 2023년). → 묻기: 각 수치의 기준연도가 명시되어 있고 비교 대상과 정렬되는가?

③ 제도·계획의 만료 "제4차 기본계획('21~'25)"처럼 종료된 계획을 현행으로 서술. 법령 개정으로 조항 번호가 바뀐 경우. → 묻기: 이 계획·법령은 작성 시점에 여전히 유효한가? 후속 차수가 나왔는가?

④ 법령 조항 번호 근거 조항을 한 조 어긋나게 다는 오류가 흔하다(기본계획 근거는 제5조인데 제6조로 표기 등). 2차 요약이 아니라 법령 원문으로 대조한다.

⑤ 발표 주체 오기 수치는 실재하나 발표 기관이 다른 경우(전국경제인연합회 ↔ 한국무역협회). 기관명 변경(전경련→한경협 2024)도 함께 본다. → 묻기: 이 수치를 실제로 발표한 기관·문서·행사는 무엇인가?

⑥ 직접인용 날조 — 최우선 검증 대상 큰따옴표 안의 문장은 원문에 그 표현이 있어야 한다. 취지가 비슷한 다른 문헌의 내용을 특정 보고서의 직접인용으로 붙이는 사고가 실제로 발생한다. → 인용부호가 보이면 무조건 원문 전문 검색. 없으면 REJECT하고, 취지에 실제로 부합하는 문헌을 찾아 제시한다.

⑦ 출처가 그 수치를 실제로 뒷받침하는가 (오귀속) 문헌은 실재하고 주제도 맞는데, 인용된 특정 수치는 그 문헌의 다른 대상에 관한 값인 경우. (예: GAO 보고서가 mRNA 후보에 TRL 8A를 부여했는데 비(非)mRNA 후보의 TRL 6~7을 mRNA에 귀속.) → 묻기: 그 표·그 페이지에서 이 수치가 붙은 대상과 시점이 본문의 대상·시점과 같은가?

⑧ 잔차 역산치 원문에 없는 수치를 저자가 뺄셈으로 만들어 원문 출처를 단 경우(총액−구매액−이전투입=팬데믹기 R&D). 반올림 오차가 누적돼 원문과 어긋난다. → 묻기: 이 수치가 원문에 문자 그대로 있는가, 아니면 계산으로 만든 것인가?

⑨ 문헌 논지와 인용 용도 불일치 서지는 정확한데 그 논문이 실제로 하는 주장이 아닌 경우(선형모형의 역사를 다룬 논문을 성과단계 taxonomy 근거로 인용). → 묻기: 이 문헌의 초록·결론이 본문이 시키는 일을 실제로 하는가?

⑩ 방법론 임계값의 출처표 특정 같은 지표라도 계산 방식이 다른 복수의 기준표가 병존한다(Lawshe 1975 원표 vs Wilson-Pan-Schumsky 2012 재계산표 vs Ayre-Scally 2014 정확이항). "N=10에서 0.52"가 틀린 게 아니라 다른 표를 쓴 것일 수 있다. → 묻기: 어느 표의 몇 번째 행인가? 채택한 표를 본문이 밝히고 있는가?

⑪ 법인격·주체 성격 "정부 주도 기관"이 실제로는 민간 컨소시엄 출자 법인인 경우(NPCI). 국제기구 '보고서'가 실제로는 저자 개인 견해인 워킹페이퍼인 경우. → 묻기: 이 조직의 법적 성격과 이 문서의 격(공식 입장 vs 워킹페이퍼)은 무엇인가?

⑫ 인과 귀속의 비약 수치는 맞으나 원문이 다른 원인에 귀속시킨 경우(발사비 95% 절감은 셔틀 대비 공시가 비교이지 재사용의 효과가 아님 — 원문은 재사용 기여를 30~50%로 추정). → 묻기: 원문이 이 결과를 무엇의 결과라고 말하는가?

원칙: 숫자가 맞아도 문장은 틀릴 수 있다. 검증 단위는 '수치'가 아니라 '수치를 담은 문장 전체'다.

출력 형식

기본: 마크다운 검증 보고서

## 출처 검증 보고서

- 검증 대상: N건 | ✅ VERIFIED n | ⚠️ NEEDS_REVIEW n | ❌ REJECT n | 🚫 NO_SOURCE n
- Tier 분포: T1 n / T2 n / T3 n / T4 n(전원 제외 또는 승격)
- 검증 깊이: standard | 검증 일시: YYYY-MM-DD

| # | 주장(요약) | 출처 | Tier | 판정 | 사유·조치 |
|---|-----------|------|------|------|-----------|
| 1 | ... | msit.go.kr/... | 1 | ✅ | 공식 보도자료 원문 확인 |
| 2 | ... | arXiv 2404.99999 | 2 | ❌ | 해당 ID 실존하지 않음(404) — 삭제 또는 재조사 |
| 3 | ... | 매경·한경 2건 | 3 | ⚠️ | 두 기사 모두 동일 보도자료 재인용 — 독립 출처 1개뿐 |
| 4 | ... | 한국정책학회보 32(1) | 2 | ✅ | KCI 조회 확인 (단, 인용 연도 오기 2022→2021) |

옵션: YAML (에이전트 파이프라인 연동용)

다른 에이전트가 소비할 때는 verification_report: YAML(총계, by_tier, rejected_items[사유·조치], review_needed, verified_items)로 반환한다.

재검증·에스컬레이션

• 조사 주체(사람/에이전트)에게 재조사를 요청할 때는 어떤 항목이 왜 문제인지 + 무엇을 확인하면 되는지를 구체적으로 적는다.
• 같은 항목이 재조사 후에도 확인되지 않으면 REJECT로 확정하고 기록을 남긴다.

에이전트 파이프라인의 게이트로 쓰기

조사 → fact-verify → 집필 순서로 배치하면 검증 게이트가 된다. 서브에이전트 정의 예시:

---
name: fact-verifier
description: 조사 결과를 독립 검증하는 전문 에이전트. 조사 완료 후, 집필 시작 전에 호출.
tools: [WebFetch, WebSearch, Read, Write]
---
fact-verify 스킬의 3단 프로토콜을 따라 조사 산출물을 검증하고
verification_report를 반환한다. REJECT 항목은 집필에 사용 금지.

한계 (정직하게 알릴 것)

• URL 실존·DOI·한국 검증원 확인에는 웹 접근(WebFetch/WebSearch) 이 필요하다. 오프라인 환경에서는 quick 깊이만 가능함을 알린다.
• 한국 학술·정책 검증은 공개 검색(무키)으로도 되지만, KCI·RISS·국회도서관 API의 정밀·대량 조회는 공공데이터포털 인증키(무료)가 있을 때만 가능하다. 키가 없으면 공개 검색 범위 안에서만 확인하고, 못 미친 부분은 NEEDS_REVIEW로 정직하게 남긴다.
• 페이월·로그인 뒤 문서, 인쇄물 전용 문헌(DBpia 유료 원문 등)은 실존 확인이 제한된다 → NEEDS_REVIEW.
• 이 스킬은 출처 규율 도구다. 출처가 실존하고 주장과 일치하는지를 보며, 주장 자체의 학술적 타당성·진위를 최종 보증하지 않는다. 판정은 사람의 판단을 돕는 보조 신호다.
• 검증 과정에서 외부로 전송되는 것은 확인 대상 URL·식별자·검색어(제목·저자)뿐이다. 문서 전체를 외부 서비스에 보내지 않는다.

커스터마이즈

references/tier-rules.md에 자기 분야의 기관·학술지·매체를 추가하라. 기본 목록은 과학기술정책(STI) 분야 기준으로 작성되어 있다 — 보건·환경·경제 등 다른 분야는 해당 분야의 정부기관·국책연·전문지를 Tier 1~3에 보강하면 된다.

공공데이터포털 인증키 설정은 references/korea-sources.md를 참조한다.