A/B-тесты и эксперименты (RU)
Дизайн статистически валидных A/B-тестов и построение программы роста через эксперименты. Математика языко-независима; инструменты и примеры — под типовой стек (веб-аналитика + продуктовая БД + PostHog/n8n) и типовые продукты — лендинги, подписки на рассылку, формы заявок, email-цепочки, SaaS/курс/услуга.
Перед началом прочитай ~/.claude/business-context.md — разделы «Воронка» (шаги и текущие значения), «Экономика» (конверсии, средний чек) и «Цены». Файла нет — заведи из ~/.claude/templates/business-context.md.
Без него расчёт выборки не на чем построить: навык возьмёт «конверсию 2 %, потому что так обычно», посчитает срок теста по несуществующему трафику и выдаст уверенное «нужно 3 недели» там, где нужно три месяца. Позиционирование, цены и метрики держи только в этом файле — продублируешь в гипотезах, разойдутся.
Когда использовать
- Спланировать и описать конкретный A/B-тест (гипотеза → выборка → метрики → решение).
- Прикинуть размер выборки и длительность под реальный трафик страницы/рассылки.
- Запустить эксперимент по запросу из CRO-скиллов (
page-cro-ru, onboarding-cro-ru, paywall-cro-ru, popup-cro-ru, form-cro-ru).
- Построить программу роста: бэклог гипотез, ICE-приоритизация, плейбук.
Базовые принципы
- Начинай с гипотезы. Не «посмотрим, что будет», а конкретное предсказание с обоснованием.
- Тестируй одну переменную. Иначе непонятно, что сработало.
- Статистическая строгость. Размер выборки фиксируется заранее. Не «подсматривай» и не останавливай тест рано (проблема peeking → ложные срабатывания).
- Меряй то, что важно. Первичная метрика, привязанная к деньгам/воронке; вторичные для интерпретации; guardrail — что не должно ухудшиться.
Фреймворк гипотезы
Так как [наблюдение/данные],
мы считаем, что [изменение]
приведёт к [ожидаемый результат]
для [аудитория].
Подтвердим это, если [метрика].
Слабо: «Может, другой цвет кнопки повысит клики».
Сильно: «Так как записи сессий показывают, что B2B-посетители /services не доходят до формы (drop на 2-м экране), мы считаем, что вынос CTA "Бесплатная консультация" в hero повысит долю заявок на 15%+ для трафика из контекстной рекламы. Подтвердим по конверсии визит → отправка формы».
Размер выборки
Зависит от базовой конверсии и минимально значимого эффекта (MDE). Чем ниже база и меньше эффект — тем больше нужно трафика. Быстрая шпаргалка:
| База |
Эффект +10% |
+20% |
+50% |
| 1% |
~380k/вариант |
~97k |
~16k |
| 3% |
~120k |
~31k |
~5.2k |
| 5% |
~72k |
~18k |
~3.1k |
| 10% |
~34k |
~8.7k |
~1.5k |
Длительность = (выборка на вариант × число вариантов) / (дневной трафик × % в тесте).
Полные таблицы выборки, формулы длительности, минимумы прогона, поправки на A/B/n, последовательное тестирование и фреймворк «можно ли вообще крутить этот тест» — references/sample-size-guide.md.
Калькуляторы (язык не важен): Evan Miller (evanmiller.org/ab-testing/sample-size.html), AB Test Guide (abtestguide.com/calc/).
Реальность низкого трафика
У многих нишевых/B2B-страниц трафик низкий. Это значит:
- Часто классический A/B статзначимости не наберёт за разумный срок. Тогда: брать больший MDE (ловить только крупные сдвиги +30–50%), тестить выше по воронке (где трафика больше — блог/рассылка), либо решать по качественным данным (записи сессий, тепловые карты, интервью), не выдавая это за «тест».
- На малых выборках корректнее байес (PostHog Bayesian) — даёт интерпретируемую вероятность, что вариант лучше, без жёсткого порога n.
- Honest-правило: если выборки не хватает — так и сказать, не называть «результатом» 50 визитов.
Метрики
- Первичная: одна, привязана к деньгам/воронке. Примеры: доля заявок на консультацию (B2B), старт триала (B2C), подтверждённая подписка на рассылку, оплата подписки.
- Вторичные: объясняют почему (время на странице, скролл, распределение по тарифам).
- Guardrail: не должны ухудшиться (отписки от рассылки, отток trial, обращения в поддержку, lead quality в CRM).
Какие именно метрики важны по воронке (подписчики → trial → paid, заявки на консультацию, лиды) — сверяйся со своей картой воронки + performance-analytics.
Что варьировать
| Категория |
Примеры |
| Заголовок/копирайт |
message angle, ценностное предложение, соцпруф в H1 («эксперт-практик учит вас») |
| CTA |
текст («Бесплатная консультация» vs «Обсудить задачу»), размещение, число |
| Контент |
соцпруф у CTA, порядок блоков, founding-оффер vs обычный тариф |
| Письма |
subject line, превью, отправитель, время отправки дайджеста |
Прогон теста
Перед запуском: гипотеза задокументирована, первичная метрика определена и трекается (yandex/performance-analytics), выборка посчитана, варианты собраны, трекинг проверен, QA пройден.
Во время: мониторь технические сбои и guardrail; не подсматривай ради остановки, не меняй варианты, не добавляй новые источники трафика в середине.
Минимум прогона: ≥1 полная неделя (день недели влияет), для B2B — 2 бизнес-цикла.
Анализ результатов
- Набрали выборку? Если нет — предварительно.
- Статзначимо (95% = p<0.05) или байес-вероятность убедительна?
- Эффект практически значим (сравни с MDE, спроецируй на деньги)?
- Вторичные метрики согласуются?
- Guardrail не пострадал?
- Различия по сегментам (мобайл/десктоп, B2B/B2C, источник)?
| Результат |
Вывод |
| Значимый победитель |
Внедрить вариант |
| Значимый проигравший |
Оставить контроль, понять почему |
| Нет разницы |
Нужно больше трафика или смелее тест |
| Смешанные сигналы |
Копать глубже, сегментировать |
Программа экспериментов (рост через тесты)
Цикл: генерим гипотезы (из аналитики/записей сессий, CRM, конкурентов, обратной связи) → приоритизируем ICE → запускаем → анализируем → победителей в плейбук → новые гипотезы из выводов.
ICE = (Impact + Confidence + Ease) / 3, каждое 1–10. Сначала — с наибольшим баллом. Пересматривать раз в месяц.
Каденс: еженедельно — проверка guardrail и техсбоев (не звать победителя рано); раз в 2 недели — закрытие тестов, обновление плейбука, запуск следующего; ежемесячно — velocity, win rate (20–30% норм), накопленный эффект, пополнение бэклога.
Шаблоны (план теста, документация результатов, бэклог гипотез, ICE-скоркарта, стейкхолдер-апдейт, плейбук) — references/test-templates.md.
Спец-форматы тестов
Помимо классического A/B на лендинге, есть три отдельных жанра теста — каждый со своими правилами «когда можно делать вывод». Детали в references:
| Reference |
О чём |
Когда читать |
references/hypothesis-template.md |
Шаблон гипотезы «3 гипотезы × 2-3 недели + объяснение»: формат гипотезы, почему именно 3, как формулировать ожидаемый эффект от бенчмарка (не от потолка), ICE-оценка с реальной калибровкой шкалы |
Нужно сформировать бэклог гипотез под продукт, оформить гипотезу проверяемо, приоритизировать по ICE |
references/direct-ab-testing.md |
A/B автостратегий и связок в контекстной рекламе: минимум 100 кликов / 50 для площадок / 15-20 для запросов для выводов; ≥10 конверсий/неделю для обучения; погрешность алгоритма (25 конв → ±40%, 400 → ~10%, 10K → почти нет); принцип «Работает — не трогай» как guardrail и анти-peeking |
Тестируешь объявления / автостратегии / связки, решаешь «отключать или нет», «почему прыгает цена лида» |
references/vendor-ab-testing.md |
A/B-тест команд-подрядчиков: 50/50 → 60/40 → 70/30 → 80/20 с фиксацией CAC и ROMI на каждом шаге |
Выбираешь между двумя агентствами / фрилансерами, проверяешь нового подрядчика без риска всего бюджета |
Ключевая мысль: работа маркетолога — это генерация гипотез. ICE-приоритизация, минимумы данных и «работает — не трогай» превращают поток идей в управляемую программу, а не казино.
Данные и трекинг (НЕ дублировать — звать существующее)
- Трафик, конверсии целей, сегменты, воронки, размер выборки по факту →
performance-analytics и yandex (Метрика API: цели, параметры, записи сессий).
- Бенчмарки и метрики каналов →
performance-analytics.
- Правки вариантов на странице/лендинге →
tilda.
- Email-варианты (subject/контент) →
html-email + email-sequence; триггеры → n8n.
- Лиды/quality из CRM как guardrail → твоя CRM (какая — раздел «Учёт и аналитика» в
~/.claude/business-context.md; у Битрикс24/amoCRM/HubSpot есть REST API для выгрузки).
Связки
| Нужно |
Скилл |
| Данные воронки/конверсий, сегменты |
performance-analytics |
| Метрика/записи сессий/цели |
yandex |
| Бенчмарки, метрики каналов |
performance-analytics |
| Правки вариантов на странице |
tilda |
| Письма для теста |
html-email, email-sequence |
| CRO-аудит страниц (генерит гипотезы) |
page-cro-ru, onboarding-cro-ru, paywall-cro-ru, popup-cro-ru, form-cro-ru (формы захвата, включая регистрацию) |
| Психология вариантов (что тестить) |
marketing-psychology-ru |
| ICE-приоритизация гипотез воронки (откуда берутся гипотезы) |
funnel-design-ru |
| Настройка целей/стратегий/обучения в контекстной рекламе (для A/B автостратегий) |
yandex-direct-pro-ru |
| Бенчмарки и минимальные пороги для выводов по каналам |
ad-benchmarks-ru |
Вопросы под задачу
- Текущая конверсия и трафик страницы/рассылки?
- Какое изменение тестируем и почему (наблюдение/данные)?
- Минимальный эффект, который стоит ловить (MDE)?
- Хватит ли трафика за разумный срок, или нужен байес / тест выше по воронке?
- Что уже пробовали в этой зоне?
1---2name: ab-testing-ru3description: "A/B-тесты и программа экспериментов: гипотезы, выборка, статзначимость, ICE. Триггеры: «сплит-тест», «проверить гипотезу». НЕ CRO страниц→*-cro-ru."4metadata:5 source: https://skillmd.com/skills/jhamidun/ab-testing-ru6 version: 1.1.07 updated: 2026-06-238 type: actionable9 reuses: yandex, performance-analytics10---1112# A/B-тесты и эксперименты (RU)1314Дизайн статистически валидных A/B-тестов и построение программы роста через эксперименты. Математика языко-независима; инструменты и примеры — под типовой стек (веб-аналитика + продуктовая БД + PostHog/n8n) и типовые продукты — лендинги, подписки на рассылку, формы заявок, email-цепочки, SaaS/курс/услуга.1516**Перед началом прочитай `~/.claude/business-context.md`** — разделы «Воронка» (шаги и текущие значения), «Экономика» (конверсии, средний чек) и «Цены». Файла нет — заведи из `~/.claude/templates/business-context.md`.1718Без него расчёт выборки не на чем построить: навык возьмёт «конверсию 2 %, потому что так обычно», посчитает срок теста по несуществующему трафику и выдаст уверенное «нужно 3 недели» там, где нужно три месяца. Позиционирование, цены и метрики держи только в этом файле — продублируешь в гипотезах, разойдутся.1920## Когда использовать2122- Спланировать и описать конкретный A/B-тест (гипотеза → выборка → метрики → решение).23- Прикинуть размер выборки и длительность под реальный трафик страницы/рассылки.24- Запустить эксперимент по запросу из CRO-скиллов (`page-cro-ru`, `onboarding-cro-ru`, `paywall-cro-ru`, `popup-cro-ru`, `form-cro-ru`).25- Построить программу роста: бэклог гипотез, ICE-приоритизация, плейбук.2627## Базовые принципы28291. **Начинай с гипотезы.** Не «посмотрим, что будет», а конкретное предсказание с обоснованием.302. **Тестируй одну переменную.** Иначе непонятно, что сработало.313. **Статистическая строгость.** Размер выборки фиксируется заранее. Не «подсматривай» и не останавливай тест рано (проблема peeking → ложные срабатывания).324. **Меряй то, что важно.** Первичная метрика, привязанная к деньгам/воронке; вторичные для интерпретации; guardrail — что не должно ухудшиться.3334## Фреймворк гипотезы3536```37Так как [наблюдение/данные],38мы считаем, что [изменение]39приведёт к [ожидаемый результат]40для [аудитория].41Подтвердим это, если [метрика].42```4344**Слабо:** «Может, другой цвет кнопки повысит клики».4546**Сильно:** «Так как записи сессий показывают, что B2B-посетители /services не доходят до формы (drop на 2-м экране), мы считаем, что вынос CTA "Бесплатная консультация" в hero повысит долю заявок на 15%+ для трафика из контекстной рекламы. Подтвердим по конверсии визит → отправка формы».4748## Размер выборки4950Зависит от базовой конверсии и минимально значимого эффекта (MDE). Чем ниже база и меньше эффект — тем больше нужно трафика. Быстрая шпаргалка:5152| База | Эффект +10% | +20% | +50% |53|------|-------------|------|------|54| 1% | ~380k/вариант | ~97k | ~16k |55| 3% | ~120k | ~31k | ~5.2k |56| 5% | ~72k | ~18k | ~3.1k |57| 10% | ~34k | ~8.7k | ~1.5k |5859Длительность = (выборка на вариант × число вариантов) / (дневной трафик × % в тесте).6061Полные таблицы выборки, формулы длительности, минимумы прогона, поправки на A/B/n, последовательное тестирование и фреймворк «можно ли вообще крутить этот тест» — `references/sample-size-guide.md`.6263**Калькуляторы (язык не важен):** Evan Miller (evanmiller.org/ab-testing/sample-size.html), AB Test Guide (abtestguide.com/calc/).6465### Реальность низкого трафика6667У многих нишевых/B2B-страниц трафик **низкий**. Это значит:68- Часто классический A/B статзначимости не наберёт за разумный срок. Тогда: брать больший MDE (ловить только крупные сдвиги +30–50%), тестить выше по воронке (где трафика больше — блог/рассылка), либо решать по качественным данным (записи сессий, тепловые карты, интервью), не выдавая это за «тест».69- На малых выборках корректнее **байес** (PostHog Bayesian) — даёт интерпретируемую вероятность, что вариант лучше, без жёсткого порога n.70- Honest-правило: если выборки не хватает — так и сказать, не называть «результатом» 50 визитов.7172## Метрики7374- **Первичная:** одна, привязана к деньгам/воронке. Примеры: доля заявок на консультацию (B2B), старт триала (B2C), подтверждённая подписка на рассылку, оплата подписки.75- **Вторичные:** объясняют почему (время на странице, скролл, распределение по тарифам).76- **Guardrail:** не должны ухудшиться (отписки от рассылки, отток trial, обращения в поддержку, lead quality в CRM).7778Какие именно метрики важны по воронке (подписчики → trial → paid, заявки на консультацию, лиды) — сверяйся со своей картой воронки + `performance-analytics`.7980## Что варьировать8182| Категория | Примеры |83|-----------|---------|84| Заголовок/копирайт | message angle, ценностное предложение, соцпруф в H1 («эксперт-практик учит вас») |85| CTA | текст («Бесплатная консультация» vs «Обсудить задачу»), размещение, число |86| Контент | соцпруф у CTA, порядок блоков, founding-оффер vs обычный тариф |87| Письма | subject line, превью, отправитель, время отправки дайджеста |8889## Прогон теста9091**Перед запуском:** гипотеза задокументирована, первичная метрика определена и трекается (`yandex`/`performance-analytics`), выборка посчитана, варианты собраны, трекинг проверен, QA пройден.9293**Во время:** мониторь технические сбои и guardrail; **не** подсматривай ради остановки, **не** меняй варианты, **не** добавляй новые источники трафика в середине.9495**Минимум прогона:** ≥1 полная неделя (день недели влияет), для B2B — 2 бизнес-цикла.9697## Анализ результатов98991. Набрали выборку? Если нет — предварительно.1002. Статзначимо (95% = p<0.05) или байес-вероятность убедительна?1013. Эффект практически значим (сравни с MDE, спроецируй на деньги)?1024. Вторичные метрики согласуются?1035. Guardrail не пострадал?1046. Различия по сегментам (мобайл/десктоп, B2B/B2C, источник)?105106| Результат | Вывод |107|-----------|-------|108| Значимый победитель | Внедрить вариант |109| Значимый проигравший | Оставить контроль, понять почему |110| Нет разницы | Нужно больше трафика или смелее тест |111| Смешанные сигналы | Копать глубже, сегментировать |112113## Программа экспериментов (рост через тесты)114115Цикл: генерим гипотезы (из аналитики/записей сессий, CRM, конкурентов, обратной связи) → приоритизируем ICE → запускаем → анализируем → победителей в плейбук → новые гипотезы из выводов.116117**ICE** = (Impact + Confidence + Ease) / 3, каждое 1–10. Сначала — с наибольшим баллом. Пересматривать раз в месяц.118119**Каденс:** еженедельно — проверка guardrail и техсбоев (не звать победителя рано); раз в 2 недели — закрытие тестов, обновление плейбука, запуск следующего; ежемесячно — velocity, win rate (20–30% норм), накопленный эффект, пополнение бэклога.120121Шаблоны (план теста, документация результатов, бэклог гипотез, ICE-скоркарта, стейкхолдер-апдейт, плейбук) — `references/test-templates.md`.122123## Спец-форматы тестов124125Помимо классического A/B на лендинге, есть три отдельных жанра теста — каждый со своими правилами «когда можно делать вывод». Детали в references:126127| Reference | О чём | Когда читать |128|-----------|-------|--------------|129| `references/hypothesis-template.md` | Шаблон гипотезы «3 гипотезы × 2-3 недели + объяснение»: формат гипотезы, почему именно 3, как формулировать ожидаемый эффект от бенчмарка (не от потолка), ICE-оценка с реальной калибровкой шкалы | Нужно сформировать бэклог гипотез под продукт, оформить гипотезу проверяемо, приоритизировать по ICE |130| `references/direct-ab-testing.md` | A/B автостратегий и связок в контекстной рекламе: минимум **100 кликов / 50 для площадок / 15-20 для запросов** для выводов; **≥10 конверсий/неделю** для обучения; погрешность алгоритма (**25 конв → ±40%**, 400 → ~10%, 10K → почти нет); принцип **«Работает — не трогай»** как guardrail и анти-peeking | Тестируешь объявления / автостратегии / связки, решаешь «отключать или нет», «почему прыгает цена лида» |131| `references/vendor-ab-testing.md` | A/B-тест команд-подрядчиков: **50/50 → 60/40 → 70/30 → 80/20** с фиксацией **CAC и ROMI** на каждом шаге | Выбираешь между двумя агентствами / фрилансерами, проверяешь нового подрядчика без риска всего бюджета |132133Ключевая мысль: **работа маркетолога — это генерация гипотез**. ICE-приоритизация, минимумы данных и «работает — не трогай» превращают поток идей в управляемую программу, а не казино.134135## Данные и трекинг (НЕ дублировать — звать существующее)136137- **Трафик, конверсии целей, сегменты, воронки, размер выборки по факту** → `performance-analytics` и `yandex` (Метрика API: цели, параметры, записи сессий).138- **Бенчмарки и метрики каналов** → `performance-analytics`.139- **Правки вариантов на странице/лендинге** → `tilda`.140- **Email-варианты (subject/контент)** → `html-email` + `email-sequence`; триггеры → `n8n`.141- **Лиды/quality из CRM как guardrail** → твоя CRM (какая — раздел «Учёт и аналитика» в `~/.claude/business-context.md`; у Битрикс24/amoCRM/HubSpot есть REST API для выгрузки).142143## Связки144145| Нужно | Скилл |146|------|-------|147| Данные воронки/конверсий, сегменты | `performance-analytics` |148| Метрика/записи сессий/цели | `yandex` |149| Бенчмарки, метрики каналов | `performance-analytics` |150| Правки вариантов на странице | `tilda` |151| Письма для теста | `html-email`, `email-sequence` |152| CRO-аудит страниц (генерит гипотезы) | `page-cro-ru`, `onboarding-cro-ru`, `paywall-cro-ru`, `popup-cro-ru`, `form-cro-ru` (формы захвата, включая регистрацию) |153| Психология вариантов (что тестить) | `marketing-psychology-ru` |154| ICE-приоритизация гипотез воронки (откуда берутся гипотезы) | `funnel-design-ru` |155| Настройка целей/стратегий/обучения в контекстной рекламе (для A/B автостратегий) | `yandex-direct-pro-ru` |156| Бенчмарки и минимальные пороги для выводов по каналам | `ad-benchmarks-ru` |157158## Вопросы под задачу1591601. Текущая конверсия и трафик страницы/рассылки?1612. Какое изменение тестируем и почему (наблюдение/данные)?1623. Минимальный эффект, который стоит ловить (MDE)?1634. Хватит ли трафика за разумный срок, или нужен байес / тест выше по воронке?1645. Что уже пробовали в этой зоне?