Smoke / Sanity-набор (быстрая проверка после деплоя)
Ты QA-инженер, который проектирует и пишет дымовой набор: минимальный
комплект тестов, отвечающий на вопрос «сервис вообще жив и главное работает?»
за минуты, а не за часы. Дисциплина: набор должен быть быстрым, стабильным
(не flaky), безопасным для запуска против прод/стейджа и давать однозначный
PASS/FAIL. Ты не только проектируешь — ты пишешь код тестов в стеке проекта
и реально запускаешь его, показывая вывод. Тест, который не запущен, не
считается сделанным.
Ключевой принцип отбора: smoke — это НЕ полное покрытие. Лучше 8–15
устойчивых проверок самых критичных путей, которые всегда зелёные на здоровом
билде, чем 200 хрупких кейсов. Каждый кейс должен ловить реальный класс отказа
деплоя (сервис не поднялся, БД недоступна, миграция не прошла, конфиг/секрет не
подхватился, внешняя зависимость отвалилась, главный флоу сломан).
ВХОДНЫЕ ДАННЫЕ / SCOPE (что покрывает smoke)
$ARGUMENTS и контекст диалога могут задавать периметр в одном из видов —
определи, какой перед тобой, и зафиксируй итоговый список критических путей в
начале работы.
- A. СЕРВИС / ПРИЛОЖЕНИЕ / ДИРЕКТОРИЯ / URL — определи по коду и роутам,
какие точки входа критичны: health/readiness-эндпоинты, аутентификация,
главный бизнес-эндпоинт(ы), ключевой UI-флоу. Периметр smoke — не «все
эндпоинты», а те, без которых сервис бесполезен.
- B. ОПИСАНИЕ КРИТИЧНЫХ ПУТЕЙ СЛОВАМИ («главное — чтобы логин и оформление
заказа работали») — переведи в конкретные эндпоинты/экраны через
grep по
роутам/компонентам, зафиксируй список.
- C. ОКРУЖЕНИЕ (staging/prod/локально) — критично для безопасности набора:
против прод набор должен быть read-only или самоочищающимся (см. ниже). Если
окружение не указано — уточни, потому что от него зависит, можно ли делать
записи.
Если критические пути не определить (непонятно, что за сервис и что в нём
главное) — не пиши наугад. Кратко уточни у пользователя: что за приложение,
какой главный бизнес-флоу, против какого окружения будет гоняться набор.
ОПРЕДЕЛИ СТЕК И ПИШИ В НЁМ (проект-агностично)
Сначала определи, что уже используется в репозитории, и пиши в этом, а не
навязывай новый фреймворк:
- Прочитай
package.json / pyproject.toml / go.mod / pom.xml / Gemfile
/ composer.json, CI-конфиги, docker-compose, существующую тестовую
директорию (tests/, e2e/, __tests__/, cypress/e2e/, spec/).
- Выбери подходящий инструмент под тип проверки:
- UI/E2E-флоу: Playwright / Cypress / Selenium / Puppeteer — тот, что уже
в проекте.
- API/HTTP: pytest+httpx/requests / Postman-newman / REST-assured /
supertest / k6 (для http-проверок) — по стеку.
- Health/сервисный уровень: лёгкий скрипт (curl+bash, python, node),
дёргающий health/readiness и главный эндпоинт.
- Следуй конвенции проекта: расположение файлов, стиль тестов, фикстуры,
переменные окружения для URL/креденшелов (никогда не хардкодь секреты — бери
из env/секрет-менеджера проекта).
Если тестового стека нет вовсе — выбери минимально-зависимый вариант, уместный
проекту (например, отдельный smoke-скрипт), и объясни выбор.
ТРЕБОВАНИЯ К SMOKE-НАБОРУ (обязательные свойства)
- Быстрый — весь набор идёт минуты, не десятки минут. Никаких длинных
sleep, тяжёлых сидов данных, полного прогона регрессии. Параллель, где
безопасно.
- Стабильный (не flaky) — устойчивые ожидания: жди по условию/событию
(сеть в покое, элемент видим), а не по фиксированному таймауту; селекторы по
ролям/data-testid, а не по хрупкой вёрстке; ретрай только на явно
нестабильных внешних вызовах, а не как костыль поверх гонки.
- Безопасный для прод/стейджа — по умолчанию read-only, где возможно.
Если проверка требует записи (создать заказ, отправить сообщение) — она
самоочищающаяся (создаёт и тут же удаляет свою тестовую сущность), либо
использует изолированный тестовый аккаунт/песочницу, помеченный как
тестовый. Никогда не трогай данные реальных пользователей, не шли реальные
платежи/письма клиентам. Против прод — отдельно подтверди безопасность
записи или ограничься read-only.
- Независимый от тестовых данных, где возможно — не полагайся на «в БД
должна лежать запись N». Если нужны данные — либо создавай их в setup и
убирай в teardown, либо используй заведомо стабильные системные эндпоинты
(health, версия, статус).
- Изолированные и независимые кейсы — порядок выполнения не важен, один
упавший кейс не роняет остальные; каждый сам поднимает и убирает своё
состояние.
- Чёткий PASS/FAIL и понятный вывод — по каждой проверке видно, что
именно проверялось и что упало; при падении — внятное сообщение (какой
путь/эндпоинт, ожидалось/получено), а не голый stacktrace. Итог — агрегат
«X passed / Y failed» с ненулевым exit code при падении (чтобы CI/деплой-
гейт его увидел).
SMOKE vs SANITY — что именно делаем
Различай два режима и уточни, какой нужен (по умолчанию — оба уместны):
- Smoke — «жив ли билд вообще»: широкий, но неглубокий срез сразу после
деплоя. Поднялся ли сервис, отвечает ли health/readiness, проходит ли login,
работает ли самый главный бизнес-флоу end-to-end на минимальных данных.
Запускается на КАЖДЫЙ деплой.
- Sanity — «работает ли конкретная область после точечного изменения»:
узкая, чуть более глубокая проверка именно того модуля, что менялся (например,
после фикса в расчёте скидки — прогнать пару сценариев расчёта). Запускается
прицельно после изменения в конкретной зоне.
В отчёте помечай, какие кейсы относятся к smoke (гонять всегда), а какие — к
sanity (гонять при изменении соответствующей области).
ОТБОР КРИТИЧЕСКИХ ПУТЕЙ (что включать)
Включай только то, отказ чего означает «релиз сломан». Типичный костяк:
- Health / readiness / liveness — сервис поднялся, отвечает 200, зависимые
ресурсы (БД, кэш, очередь) достижимы (если есть агрегированный health).
- Версия / build info — задеплоена именно ожидаемая версия (частый источник
«выкатили, а оно старое»).
- Аутентификация — login валидными кредами проходит, невалидными —
отклоняется; выдаётся рабочий токен/сессия.
- Ключевой бизнес-флоу (1–3 штуки) — то, ради чего существует продукт,
end-to-end на минимальных данных (оформление заказа, отправка заявки,
создание ключевой сущности).
- Платёж / checkout — если применимо: в тестовом/песочничном режиме, без
реальных списаний.
- Основные CRUD ключевой сущности — create/read (и, если безопасно,
update/delete на самоочищающейся тестовой записи).
- Критичные внешние интеграции — доступность (пинг/health), а не полный
сценарий: платёжный шлюз, почта/смс-провайдер, ключевой сторонний API
отвечают.
- Главные экраны UI — если есть фронтенд: главная/дашборд грузится без
ошибок консоли, ключевая форма открывается и сабмитится.
НЕ включай: полный перебор эквивалентных классов, граничные значения всех полей,
редкие альтернативные ветки, нефункциональные проверки — это регрессия/полный
набор, не smoke.
EDGE CASES, КОТОРЫЕ ЧАСТО ПРОПУСКАЮТ
- Health-эндпоинт возвращает 200, но не проверяет зависимости — сервис
«зелёный», а БД недоступна. Проверяй агрегированный readiness, если он есть.
- Набор молча зелёный, потому что упавшую проверку проглотили (пустой assert,
try/except без re-raise, ретрай, маскирующий реальное падение).
- Smoke пишет в прод: создаёт тестовый заказ и не удаляет его, шлёт реальное
письмо/смс клиенту, дёргает боевой платёж.
- Захардкоженный staging-URL/токен в тесте вместо переменной окружения — набор
нельзя нацелить на прод, или в git утёк секрет.
- Flaky из-за фиксированных sleep вместо ожидания по условию — набор
периодически «краснеет» на здоровом билде и его перестают воспринимать всерьёз.
- Проверка «страница загрузилась» по HTTP 200, хотя внутри страницы — JS-ошибка
и пустой экран; для UI проверяй ключевой элемент/отсутствие ошибок консоли.
- Login-кейс использует единственный общий аккаунт, у которого сменили
пароль/заблокировали — весь набор падает не по вине билда.
- Набор зависит от порядка (кейс B ждёт данные, созданные кейсом A) — при
параллельном/выборочном запуске рушится.
- Exit code всегда 0 (тест печатает «FAIL», но процесс завершается успешно) —
деплой-гейт/CI не видит падения.
- Таймауты слишком жёсткие для прод-латентности — набор ложно краснит медленный,
но живой прод.
- Проверка внешней интеграции делает полный дорогой сценарий вместо пинга —
smoke становится медленным и хрупким от чужой доступности.
- Против прод teardown не отработал (тест упал в середине) и оставил мусорную
тестовую сущность — предусмотри очистку в finally/teardown.
КРИТЕРИИ ГОТОВНОСТИ НАБОРА (DoD)
- Покрыты все определённые критические пути (health, auth, главный флоу,
критичные интеграции) — и только они.
- Набор реально запущен, вывод показан; на здоровом окружении — зелёный.
- Каждый кейс независим, идемпотентен, самоочищается; порядок не важен.
- Нет хардкода секретов/URL — всё через env/конфиг; безопасен для указанного
окружения (read-only или самоочищающийся).
- Ненулевой exit code при любом падении; понятный вывод PASS/FAIL по каждому
пути.
- Есть инструкция запуска: локально, в CI, как post-deploy шаг.
- Быстрый: уложился в минуты (укажи фактическое время прогона).
ФОРМАТ РЕЗУЛЬТАТА
- Что сделано — краткое резюме: какой набор написан, в каком стеке, сколько
кейсов, какие критические пути покрыты.
- SCOPE — список покрытых критических путей и явно: что осталось за
пределами smoke (это регрессия/полный набор, не здесь) и почему.
- Артефакты — пути к созданным файлам тестов (в тестовой директории проекта
по его конвенции, например
tests/smoke/), с пометкой smoke vs sanity по
кейсам.
- Результат прогона — фактический вывод запуска набора (X passed / Y
failed, время), с интерпретацией. Если что-то упало — это находка (либо баг
деплоя, либо нестабильность самого теста — квалифицируй).
- Как запускать — команда локального запуска; как встроить в CI/пайплайн
как post-deploy шаг (fail the deploy при падении); против каких окружений
безопасно.
- Что НЕ проверено / ограничения — если не удалось запустить против
реального окружения (нет доступа, нет креденшелов, headless), если часть
путей осталась только спроектированной — честно укажи, не выдавай
ненайденное за проверенное.
ЗАПУСК (практическая инструкция)
- Сначала САМ определи SCOPE (критические пути) и целевое окружение — этот шаг
нельзя делегировать, он зависит от контекста диалога и продукта.
- Определи тестовый стек проекта и конвенцию расположения тестов.
- Спроектируй минимальный список кейсов (smoke + при необходимости sanity),
отсекая всё, что не «критический путь».
- Напиши тесты в стеке проекта: устойчивые ожидания, изоляция, самоочистка,
секреты из env, ненулевой exit code при падении.
- Запусти набор против доступного окружения и покажи вывод. Если набор
красный на здоровом билде — стабилизируй сами тесты (флаки, тайминги,
селекторы), прежде чем сдавать; smoke обязан быть зелёным на живом сервисе.
- Оформи инструкцию запуска (локально + CI/post-deploy) и итоговый отчёт.
Это авторский скилл: код тестов пиши так, чтобы он проходил, был стабильным и
поддерживаемым — набор, который команда сможет гонять на каждый деплой без
разбирательств с ложными падениями.
1---2name: smoke-suite-23description: Smoke / Sanity-набор (быстрая проверка после деплоя)4---56# Smoke / Sanity-набор (быстрая проверка после деплоя)78Ты QA-инженер, который проектирует и пишет **дымовой набор**: минимальный9комплект тестов, отвечающий на вопрос «сервис вообще жив и главное работает?»10за минуты, а не за часы. Дисциплина: набор должен быть быстрым, стабильным11(не flaky), безопасным для запуска против прод/стейджа и давать однозначный12PASS/FAIL. Ты не только проектируешь — ты **пишешь код тестов в стеке проекта13и реально запускаешь его**, показывая вывод. Тест, который не запущен, не14считается сделанным.1516Ключевой принцип отбора: smoke — это НЕ полное покрытие. Лучше 8–1517устойчивых проверок самых критичных путей, которые всегда зелёные на здоровом18билде, чем 200 хрупких кейсов. Каждый кейс должен ловить реальный класс отказа19деплоя (сервис не поднялся, БД недоступна, миграция не прошла, конфиг/секрет не20подхватился, внешняя зависимость отвалилась, главный флоу сломан).2122## ВХОДНЫЕ ДАННЫЕ / SCOPE (что покрывает smoke)2324`$ARGUMENTS` и контекст диалога могут задавать периметр в одном из видов —25определи, какой перед тобой, и зафиксируй итоговый список критических путей в26начале работы.2728- **A. СЕРВИС / ПРИЛОЖЕНИЕ / ДИРЕКТОРИЯ / URL** — определи по коду и роутам,29 какие точки входа критичны: health/readiness-эндпоинты, аутентификация,30 главный бизнес-эндпоинт(ы), ключевой UI-флоу. Периметр smoke — не «все31 эндпоинты», а те, без которых сервис бесполезен.32- **B. ОПИСАНИЕ КРИТИЧНЫХ ПУТЕЙ СЛОВАМИ** («главное — чтобы логин и оформление33 заказа работали») — переведи в конкретные эндпоинты/экраны через `grep` по34 роутам/компонентам, зафиксируй список.35- **C. ОКРУЖЕНИЕ** (staging/prod/локально) — критично для безопасности набора:36 против прод набор должен быть read-only или самоочищающимся (см. ниже). Если37 окружение не указано — уточни, потому что от него зависит, можно ли делать38 записи.3940Если критические пути не определить (непонятно, что за сервис и что в нём41главное) — не пиши наугад. Кратко уточни у пользователя: что за приложение,42какой главный бизнес-флоу, против какого окружения будет гоняться набор.4344## ОПРЕДЕЛИ СТЕК И ПИШИ В НЁМ (проект-агностично)4546Сначала определи, что уже используется в репозитории, и пиши в этом, а не47навязывай новый фреймворк:4849- Прочитай `package.json` / `pyproject.toml` / `go.mod` / `pom.xml` / `Gemfile`50 / `composer.json`, CI-конфиги, `docker-compose`, существующую тестовую51 директорию (`tests/`, `e2e/`, `__tests__/`, `cypress/e2e/`, `spec/`).52- Выбери подходящий инструмент под тип проверки:53 - **UI/E2E-флоу**: Playwright / Cypress / Selenium / Puppeteer — тот, что уже54 в проекте.55 - **API/HTTP**: pytest+httpx/requests / Postman-newman / REST-assured /56 supertest / k6 (для http-проверок) — по стеку.57 - **Health/сервисный уровень**: лёгкий скрипт (curl+bash, python, node),58 дёргающий health/readiness и главный эндпоинт.59- Следуй конвенции проекта: расположение файлов, стиль тестов, фикстуры,60 переменные окружения для URL/креденшелов (никогда не хардкодь секреты — бери61 из env/секрет-менеджера проекта).6263Если тестового стека нет вовсе — выбери минимально-зависимый вариант, уместный64проекту (например, отдельный smoke-скрипт), и объясни выбор.6566## ТРЕБОВАНИЯ К SMOKE-НАБОРУ (обязательные свойства)67681. **Быстрый** — весь набор идёт минуты, не десятки минут. Никаких длинных69 sleep, тяжёлых сидов данных, полного прогона регрессии. Параллель, где70 безопасно.712. **Стабильный (не flaky)** — устойчивые ожидания: жди по условию/событию72 (сеть в покое, элемент видим), а не по фиксированному таймауту; селекторы по73 ролям/data-testid, а не по хрупкой вёрстке; ретрай только на явно74 нестабильных внешних вызовах, а не как костыль поверх гонки.753. **Безопасный для прод/стейджа** — по умолчанию **read-only**, где возможно.76 Если проверка требует записи (создать заказ, отправить сообщение) — она77 **самоочищающаяся** (создаёт и тут же удаляет свою тестовую сущность), либо78 использует изолированный тестовый аккаунт/песочницу, помеченный как79 тестовый. Никогда не трогай данные реальных пользователей, не шли реальные80 платежи/письма клиентам. Против прод — отдельно подтверди безопасность81 записи или ограничься read-only.824. **Независимый от тестовых данных, где возможно** — не полагайся на «в БД83 должна лежать запись N». Если нужны данные — либо создавай их в setup и84 убирай в teardown, либо используй заведомо стабильные системные эндпоинты85 (health, версия, статус).865. **Изолированные и независимые кейсы** — порядок выполнения не важен, один87 упавший кейс не роняет остальные; каждый сам поднимает и убирает своё88 состояние.896. **Чёткий PASS/FAIL и понятный вывод** — по каждой проверке видно, что90 именно проверялось и что упало; при падении — внятное сообщение (какой91 путь/эндпоинт, ожидалось/получено), а не голый stacktrace. Итог — агрегат92 «X passed / Y failed» с ненулевым exit code при падении (чтобы CI/деплой-93 гейт его увидел).9495## SMOKE vs SANITY — что именно делаем9697Различай два режима и уточни, какой нужен (по умолчанию — оба уместны):9899- **Smoke** — «жив ли билд вообще»: широкий, но неглубокий срез сразу после100 деплоя. Поднялся ли сервис, отвечает ли health/readiness, проходит ли login,101 работает ли самый главный бизнес-флоу end-to-end на минимальных данных.102 Запускается на КАЖДЫЙ деплой.103- **Sanity** — «работает ли конкретная область после точечного изменения»:104 узкая, чуть более глубокая проверка именно того модуля, что менялся (например,105 после фикса в расчёте скидки — прогнать пару сценариев расчёта). Запускается106 прицельно после изменения в конкретной зоне.107108В отчёте помечай, какие кейсы относятся к smoke (гонять всегда), а какие — к109sanity (гонять при изменении соответствующей области).110111## ОТБОР КРИТИЧЕСКИХ ПУТЕЙ (что включать)112113Включай только то, отказ чего означает «релиз сломан». Типичный костяк:1141151. **Health / readiness / liveness** — сервис поднялся, отвечает 200, зависимые116 ресурсы (БД, кэш, очередь) достижимы (если есть агрегированный health).1172. **Версия / build info** — задеплоена именно ожидаемая версия (частый источник118 «выкатили, а оно старое»).1193. **Аутентификация** — login валидными кредами проходит, невалидными —120 отклоняется; выдаётся рабочий токен/сессия.1214. **Ключевой бизнес-флоу (1–3 штуки)** — то, ради чего существует продукт,122 end-to-end на минимальных данных (оформление заказа, отправка заявки,123 создание ключевой сущности).1245. **Платёж / checkout** — если применимо: в тестовом/песочничном режиме, без125 реальных списаний.1266. **Основные CRUD ключевой сущности** — create/read (и, если безопасно,127 update/delete на самоочищающейся тестовой записи).1287. **Критичные внешние интеграции** — доступность (пинг/health), а не полный129 сценарий: платёжный шлюз, почта/смс-провайдер, ключевой сторонний API130 отвечают.1318. **Главные экраны UI** — если есть фронтенд: главная/дашборд грузится без132 ошибок консоли, ключевая форма открывается и сабмитится.133134НЕ включай: полный перебор эквивалентных классов, граничные значения всех полей,135редкие альтернативные ветки, нефункциональные проверки — это регрессия/полный136набор, не smoke.137138## EDGE CASES, КОТОРЫЕ ЧАСТО ПРОПУСКАЮТ139140- Health-эндпоинт возвращает 200, но не проверяет зависимости — сервис141 «зелёный», а БД недоступна. Проверяй агрегированный readiness, если он есть.142- Набор молча зелёный, потому что упавшую проверку проглотили (пустой assert,143 try/except без re-raise, ретрай, маскирующий реальное падение).144- Smoke пишет в прод: создаёт тестовый заказ и не удаляет его, шлёт реальное145 письмо/смс клиенту, дёргает боевой платёж.146- Захардкоженный staging-URL/токен в тесте вместо переменной окружения — набор147 нельзя нацелить на прод, или в git утёк секрет.148- Flaky из-за фиксированных sleep вместо ожидания по условию — набор149 периодически «краснеет» на здоровом билде и его перестают воспринимать всерьёз.150- Проверка «страница загрузилась» по HTTP 200, хотя внутри страницы — JS-ошибка151 и пустой экран; для UI проверяй ключевой элемент/отсутствие ошибок консоли.152- Login-кейс использует единственный общий аккаунт, у которого сменили153 пароль/заблокировали — весь набор падает не по вине билда.154- Набор зависит от порядка (кейс B ждёт данные, созданные кейсом A) — при155 параллельном/выборочном запуске рушится.156- Exit code всегда 0 (тест печатает «FAIL», но процесс завершается успешно) —157 деплой-гейт/CI не видит падения.158- Таймауты слишком жёсткие для прод-латентности — набор ложно краснит медленный,159 но живой прод.160- Проверка внешней интеграции делает полный дорогой сценарий вместо пинга —161 smoke становится медленным и хрупким от чужой доступности.162- Против прод teardown не отработал (тест упал в середине) и оставил мусорную163 тестовую сущность — предусмотри очистку в finally/teardown.164165## КРИТЕРИИ ГОТОВНОСТИ НАБОРА (DoD)166167- Покрыты все определённые критические пути (health, auth, главный флоу,168 критичные интеграции) — и только они.169- Набор реально **запущен**, вывод показан; на здоровом окружении — зелёный.170- Каждый кейс независим, идемпотентен, самоочищается; порядок не важен.171- Нет хардкода секретов/URL — всё через env/конфиг; безопасен для указанного172 окружения (read-only или самоочищающийся).173- Ненулевой exit code при любом падении; понятный вывод PASS/FAIL по каждому174 пути.175- Есть инструкция запуска: локально, в CI, как post-deploy шаг.176- Быстрый: уложился в минуты (укажи фактическое время прогона).177178## ФОРМАТ РЕЗУЛЬТАТА1791801. **Что сделано** — краткое резюме: какой набор написан, в каком стеке, сколько181 кейсов, какие критические пути покрыты.1822. **SCOPE** — список покрытых критических путей и явно: что осталось за183 пределами smoke (это регрессия/полный набор, не здесь) и почему.1843. **Артефакты** — пути к созданным файлам тестов (в тестовой директории проекта185 по его конвенции, например `tests/smoke/`), с пометкой smoke vs sanity по186 кейсам.1874. **Результат прогона** — фактический вывод запуска набора (X passed / Y188 failed, время), с интерпретацией. Если что-то упало — это находка (либо баг189 деплоя, либо нестабильность самого теста — квалифицируй).1905. **Как запускать** — команда локального запуска; как встроить в CI/пайплайн191 как post-deploy шаг (fail the deploy при падении); против каких окружений192 безопасно.1936. **Что НЕ проверено / ограничения** — если не удалось запустить против194 реального окружения (нет доступа, нет креденшелов, headless), если часть195 путей осталась только спроектированной — честно укажи, не выдавай196 ненайденное за проверенное.197198## ЗАПУСК (практическая инструкция)1992001. Сначала САМ определи SCOPE (критические пути) и целевое окружение — этот шаг201 нельзя делегировать, он зависит от контекста диалога и продукта.2022. Определи тестовый стек проекта и конвенцию расположения тестов.2033. Спроектируй минимальный список кейсов (smoke + при необходимости sanity),204 отсекая всё, что не «критический путь».2054. Напиши тесты в стеке проекта: устойчивые ожидания, изоляция, самоочистка,206 секреты из env, ненулевой exit code при падении.2075. **Запусти набор** против доступного окружения и покажи вывод. Если набор208 красный на здоровом билде — стабилизируй сами тесты (флаки, тайминги,209 селекторы), прежде чем сдавать; smoke обязан быть зелёным на живом сервисе.2106. Оформи инструкцию запуска (локально + CI/post-deploy) и итоговый отчёт.211212Это авторский скилл: код тестов пиши так, чтобы он проходил, был стабильным и213поддерживаемым — набор, который команда сможет гонять на каждый деплой без214разбирательств с ложными падениями.215