A/B-тест без самообмана: проверь результат до решения
Проверка групп, метрики и выводов, прежде чем катить «победителя»
Какую задачу решает
Проверить дизайн и результаты A/B-теста на достоверность
Что будет на выходе
Протокол решения по тесту с перекосами, рисками и неизвестными
- Кому подойдёт
Команда, которая увидела рост конверсии в тесте и не уверена, можно ли верить цифре
- Тема
- Аналитика
- Инструменты
- любой ИИ-чат
Вариант B нового экрана показал рост конверсии на 7,5%, команда уже пишет в чат «катим». Перед этим стоит проверить три вещи, которые ломают результат чаще, чем плохая гипотеза. Были ли группы одинаковыми по размеру, как планировали. Смотрите ли вы на ту метрику, которую выбрали до старта. И 7,5% — это относительный рост или разница в процентных пунктах: с 4% до 4,3% это «+7,5%» и «+0,3 п. п.» одновременно, и звучат эти числа очень по-разному.
Промпт проверяет тест по цифрам групп и тому, что вы решили до запуска. Он не ищет победителя любой ценой и не рисует p-value из воздуха. На выходе один из трёх вердиктов: результату можно верить, нужна дополнительная проверка, данных мало.
Вставляешь план теста и цифры по группам. Получаешь таблицу проверок, пересчёт конверсий с формулами, флаг перекоса групп и вердикт с оговорками и следующим шагом.
Что получишь
- 📋Таблицу проверок
Рандомизация, размер групп, метрика, срок, ранняя остановка, пересечения пользователей. По каждой: ок, проблема или не известно.
- 🧮Пересчёт с формулами
Конверсия каждой группы, разница в процентных пунктах и относительная, со знаменателями. Сверишь руками за минуту.
- ⚖️Флаг перекоса групп
Если при плане 50/50 в группах заметно разное число людей, это сигнал поломки распределения, и конверсию читать рано.
- 🚦Вердикт и следующий шаг
Один из трёх статусов и что сделать дальше: катить, докрутить тест или сначала починить трекинг.
Как использовать
- 1Запиши, что решили до теста
Гипотезу, главную метрику, план распределения и когда собирались остановиться. Если ничего не записывали, честно так и напиши: промпт учтёт это в вердикте.
- 2Выгрузи цифры по группам
Сколько людей назначено в каждую группу, сколько дошло до экрана, сколько выполнило целевое действие. Если есть разбивка по дням и устройствам, приложи и её.
- 3Отправь в чат, который умеет считать
Выбери режим с анализом данных или запуском кода: так проценты и проверка перекоса посчитаются кодом.
- 4Прочитай вердикт и сверь цифры
Пересчитай одну конверсию сам по формуле из ответа. Совпало — доверяй остальным расчётам.
Если гипотезы для теста ещё выбираешь, сначала отсортируй их по ICE: этот промпт нужен уже после запуска.
Рядом по теме: Контент-эксперимент на две недели, ИИ-диагностика воронки лид-магнита: где уходят люди, Какие рекламные креативы реально окупаются, статья «20 тысяч просмотров и ни одной заявки» и Набор маркетолога: 15 инструментов за вечер (990 ₽).
Дальше — для участников
Регистрация бесплатная и занимает минуту. Часть закрытых материалов откроется сразу, без карты.
Что дальше
- Если тест на регистрацию, проверь сначала саму воронку: где теряются регистрации: воронка SaaS по событиям.
- Чтобы в следующем тесте события считались одинаково в обеих группах, оформи ТЗ на аналитические события.
- Почему словарь событий нужен раньше дашбордов и тестов: статья в блоге.