OuFinx Метричні книги: від «є назва села» до «є таблиця записів»
Метрика це найдорожче джерело в роботі і водночас найцінніше. Дорожче, бо її ніхто не переказав: її треба знайти, дістати й прочитати очима. Найцінніше, бо вона єдина каже, що людина справді була.
Наскільки цінніше, виміряно. Одне село, де скани читали посторінково, дало 30 первинних рядків і викрило в друкованому мартиролозі хибний архівний шифр, чотири зсунуті дати, два перекручені прізвища, дві підмінені причини смерті та дописаний вік двом немовлятам. Друкований покажчик виглядав бездоганно, доки не звірили з аркушем.
Порядок
Кроки йдуть у цьому порядку не для краси: кожен наступний дорожчий за попередній на порядок, і половина роботи закінчується на третьому.
- Знайти, що взагалі існує. Описи фондів, а не скани. Дізнатися, чи є справа по цьому селу, під яким шифром і за які роки. Це найдешевший крок, і він буває останнім: якщо справ немає, далі йти нема куди. Канали й пастки кожного -
references/dzherela.md. - Дістати файл. Не рендер сторінки, а сам файл, якщо його віддають. Чому саме так - там-таки, розділ про роздільність.
- Спершу текстовий шар.
pdftotext -layout file.pdf -. Якщо текст читається, картинку не відкривати взагалі. На друкованих бланках і машинописних вкладках шар буває, і тоді робота коштує нуль. - Дізнатися, які сторінки писані. Архівні книги наполовину порожні, і з обкладинки це не видно. В одній алфавітній книзі смертей на 246 сторінок скану писаних виявилося рівно сто; решта розграфлені бланки. Проєкт, що не робив цієї карти, три прогони поспіль читав самі початки літерних блоків, а роки, дописані в хвости, не бачив ніхто.
- Читати очима. Одна сторінка = один агент. Це не порада, а правило, і причина в наступному розділі.
- Записувати одразу, рядок за рядком, у файл. Не «прочитав десять сторінок, зараз занотую».
- Нерозбірливе лишається нерозбірливим. Завжди.
Як саме читати аркуш - графи бланка, аркуші проти сторінок PDF, сумнівні літери - references/chytannia.md.
Як виглядає результат такого проходу на реальному аркуші - examples/posimeinyi-spysok/ у корені репозиторію.
Три правила, які коштували найдорожче
Одна сторінка = один агент
Відкрита картинка лишається в контексті назавжди й іде з кожним наступним викликом. Агент, що читав тринадцять сторінок підряд, коштував 251 тисячу токенів, а три інші вмерли на ліміті, не записавши нічого.
Тому: одноразовий субагент відкриває одну сторінку (щонайбільше дві), пише текст у файл і закінчується. Оркестратор не бачить картинок узагалі, а бачить лише шлях до файла й короткий звіт - скільки записів, що нерозбірливе. Це єдиний спосіб прочитати книгу на сто аркушів і не впертися в ліміт на двадцятому.
Прізвище навмання не вибирають
Невпевнене прочитання не розвʼязується здогадом. Або воно розсуджується сусіднім словом на тому самому аркуші (метод у references/chytannia.md), або на сторінку йдуть обидва варіанти з позначкою.
Прізвище в чужому родоводі живе довго. Помилка тут це не одруківка, а вигадана людина.
Автоматичного читання рукопису немає
Спокуса зекономити місяць закінчується витраченим місяцем. Числа, які це закривають, у references/htr.md - там і межа, за якою автоматика стала б корисною, і те, наскільки від неї далеко найкращі доступні двигуни, і чому мовна модель, дивлячись на нерозбірливе, впевнено видає правдоподібне прізвище.
Читайте очима. Це поки що не обхідний шлях, а метод.
Як записувати
Один рядок = один акт. Мінімум полів: номер акту, дата, імена, прізвища, вік, стан, священник або реєстратор, свідки чи восприємники, і посилання на аркуш, з якого це взято (архів, фонд, опис, справа, аркуш, лице чи зворот).
Два позначення, які не можна змішувати:
- «графа порожня» - у бланку графа є, значення в ній немає;
- «(нерозбірливо)» - значення є, прочитати не вдалося. Поруч пишеться те, що видно: «Ма(?)юкъ», «Зав…къ».
Написати «невідомо» замість першого означає збрехати про документ. Написати правдоподібне замість другого означає збрехати про людину.
Формат файла байдужий - JSONL, CSV, таблиця в markdown, - аби він був структурований і містив посилання на аркуш. Транскрипція без шифру справи через рік нічого не варта.
Чого не робити
- Не тягнути документ у контекст цілком. Номер газети або том справи це десятки тисяч токенів, а потрібні з них три рядки. Шукайте по тексту й друкуйте лише збіги з контекстом. Читати цілком дозволено, тільки щоб зрозуміти структуру справи, і тоді - першу сторінку, а не весь файл.
- Не читати рукописне з переглядача. Роздільності перегляду вистачає на друкований текст і не вистачає на прізвище. Дивись
references/dzherela.md. - Не вважати «пошук нічого не дав» за «цього немає». Справи називають по одному селу, а всередині їх пʼять. Нуль у пошуку за назвою села означає, що треба йти по фонду й роках.
- Не довіряти назві файла. Ні про село, ні про тип акту, ні про архів і фонд. Шифр буває написаний олівцем на самому скані.