Проблема подглядывания
Ошибка A/B-теста: остановка эксперимента в момент, когда разница впервые стала «значимой», хотя это лишь случайное колебание.
Пока тест идёт, цифры прыгают: вариант Б то вырывается вперёд, то отстаёт. Если следить за ними каждый день и остановить эксперимент в ту минуту, когда разница впервые выглядит значимой, вы почти наверняка поймаете случайный всплеск, а не настоящий эффект. Значимость, полученная подглядыванием, рассыпается, стоит тесту поработать ещё немного.
Защита ровно одна: размер выборки и срок теста определяются заранее, и решение принимается только по их достижении. Промежуточные цифры можно смотреть для контроля, что всё технически работает, но не для того, чтобы досрочно объявить победителя.
«Уже значимо, давайте выкатывать» на третий день теста. Ранняя остановка на первом же зелёном результате — это не ускорение, а способ систематически принимать решения по шуму.
Разберём вашу систему на языке цифр
На бесплатном звонке переведём эти метрики в конкретный план роста для вашего бизнеса.