1---2name: data-quality3description: Применяйте при оценке пригодности набора данных или реализации проверок качества; оценивайте полноту ожидаемых данных, свежесть, целостность ключей и соединений, сверку, пороги и реакцию на нарушения.4---56# Качество данных78## Ожидаемый состав данных910- Определите бизнес-решение, на которое влияет качество, источник истины, гранулярность, ключ, значимые разделы, часовой пояс, временную границу учёта данных (cutoff) и ожидаемый порядок поступления или исправлений.11- Выберите значимые измерения качества: свежесть, полноту, допустимость значений, уникальность, согласованность или точность. Для каждой предлагаемой проверки укажите владельца и реакцию на нарушение.1213## Ключевые решения14151. Измеряйте полноту относительно ожидаемого состава данных или контрольных итогов источника при одной временной границе. Недавняя максимальная метка времени совместима с пропущенными разделами; пустой результат не должен проходить проверку только потому, что в нём нет некорректных строк.162. Определяйте уникальность на бизнес-уровне детализации, при необходимости с учётом версии или интервала действия. Проверяйте соединения по кратности, ключам без соответствия и показателям; одинаковое число строк может одновременно скрывать дубликаты и пропуски.173. Отличайте некорректные данные от допустимо поздних поступлений и ещё не завершённых интервалов. Используйте ожидаемые диапазоны и сезонность, только если они подтверждены историей; в выводах об аномалиях указывайте знаменатель, размер выборки и базовый период.184. Выбирайте блокировку, предупреждение или наблюдение по бизнес-влиянию и допустимой доле ложных срабатываний. Учитывайте записи в карантине, отклонённые и исправленные строки; повторяющиеся сигналы без ответственного, который может на них отреагировать, не являются действенным контролем.1920## Результат и проверка2122- Подготовьте проверки или оценку с определением, областью действия, обоснованием порога, серьёзностью нарушения, владельцем и способом исправления.23- Для изменённых проверок испытайте заведомо ошибочный и допустимый пограничный случай. Укажите фактические количества и знаменатели, точную временную границу и непроверенные разделы.24- Если важна точность, сверяйтесь с независимыми подтверждениями; используйте существующий контракт данных или шаблон отчёта, если он доступен.2526## Ограничения2728- Не включайте блокирующие проверки с частыми ложными срабатываниями без согласия владельца и не считайте успешную проверку схемы полной гарантией качества.29- Не выводите точность только из внутренней согласованности или охват всех данных из удобной выборки.
fbakiyev