A/B-тестирование и все производные от него (A/A, A/A/B, A/B/C) также принято называть сплит-тестами (от англ. split, разделять), что объясняется основополагающим принципом их проведения.
Нулевая гипотеза в статистике — это предположение о том, что между изучаемыми переменными нет связи, различий или эффекта. Это базовое предположение, которое используется в статистических тестах для проверки действительности альтернативной гипотезы.
Например, если исследователь хочет проверить, есть ли различия в средних значениях двух групп, нулевая гипотеза будет утверждать, что средние значения равны, то есть нет различий. Если данные достаточно сильно противоречат нулевой гипотезе, она отвергается в пользу альтернативной гипотезы.
Возможные типичные ошибки
- Отвергнуть верную нулевую гипотезу — совершить ошибку I рода. Это ситуация, когда нулевая гипотеза отвергается, хотя на самом деле она верна.
- Принять неверную нулевую гипотезу — совершить ошибку II рода. Это происходит, когда нулевая гипотеза принимается, хотя на самом деле она ложна.
Расчет параметров A/Б-теста
На вход подаются:
- Baseline Conversion Rate: базовая конверсия (конверсия существующего варианта);
- Minimum Detectable Effect: минимально желаемый результат изменения метрики (относительно базовой конверсии или абсолютный);
- Statistical Power 1−β: мощность теста (вероятность не допустить ошибку II рода);
- Significance Level α: уровень значимости (вероятность ошибки I рода).
На вход подаются:
- Средний показатель: базовая конверсия (конверсия существующего варианта);