# Data Orchestration

> Применяйте при разработке или проверке расписаний конвейеров и выполнения зависимостей в Airflow, Dagster, Prefect и подобных системах; уточняйте логические интервалы, повторы, догоняющие запуски, параллельность и распространение сбоев.

- Skill: `fbakiyev/data-orchestration` (Agent Skill)
- Install (CLI): `npx skillmds@latest add fbakiyev/data-orchestration`
- Raw SKILL.md: https://api.skillmd.com/api/skills/fbakiyev/data-orchestration/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: fbakiyev (https://skillmd.com/u/fbakiyev)
- Updated: 2026-09-21
- Page: https://skillmd.com/skills/fbakiyev/data-orchestration

---


# Оркестрация данных

## Правила выполнения

- Определите версии планировщика и провайдеров, владельца, логический интервал данных, часовой пояс, зависимости, требуемую свежесть, пределы повторов и порядок реагирования на сбой.
- Изучите конфигурацию проекта и официальную документацию нужной версии, прежде чем предполагать поведение догоняющих запусков, условий запуска, параллельности и расписания.

## Ключевые решения

1. Привязывайте входы задач к стабильному интервалу или снимку. Повторный запуск того же интервала не должен читать постоянно меняющийся последний раздел или выбирать другие бизнес-данные по текущему времени.
2. Повторяйте временные сбои только при идемпотентности операций или наличии порядка восстановления. Для детерминированных ошибок схемы или данных нужны явные правила остановки или карантина; дополнительные повторы не делают такие ошибки временными.
3. Ограничивайте параллельность перерасчёта истории с учётом лимитов источника и пропускной способности потребителей; согласуйте пересечение с текущими запусками. Определите, какому запуску принадлежит раздел при конфликте и как после перезапуска распознаётся уже зафиксированная работа.
4. Определяйте успех по обязательным бизнес-результатам и проверкам качества. Успешная задача очистки не должна скрывать сбой предыдущей задачи; завершение в планировщике и свежесть данных являются разными сигналами.

## Результат и проверка

- Подготовьте запрошенное расписание, DAG или заключение с правилами зависимостей, повторов, перерасчёта истории, оповещения и восстановления.
- При изменении кода проверяйте разбор DAG и поведение значимых задач отдельно; избегайте сетевых запросов и тяжёлых операций при обнаружении DAG.
- Где это затронуто изменением, проверьте повторный запуск, отсутствующую зависимость и сбой обязательной задачи. Для обмена результатами между исполнителями используйте надёжное общее хранилище, передавая ссылки на крупные артефакты.
- Добавляйте эксплуатационные пояснения в объёме, необходимом для изменённого конвейера.

## Ограничения

- У производственного сбоя должен быть ответственный; повторы не заменяют идемпотентность.
- Храните секреты в согласованных подключениях или хранилище секретов, вне определений процессов и вывода.

## Источник

- [Рекомендации Airflow по задачам и DAG](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html); сверяйтесь с развёрнутой версией.