A/B-тест: SRM, эффект и мощность

600 пользователей за 3 дня, сплит задуман 50/50 — строки ab_test/data/experiment_sample.csv. Двигайте α и гипотетический эффект: интервал и мощность пересчитываются от реальных SE и оценок.

Контроль A Вариант B

Проверка сплита (SRM)

Контроль A
Вариант B

Доля — % от всей выборки, вертикаль — план 50,0%.

Конверсия по рукавам

Контроль A
Вариант B
0% 10% 20%
Абсолютный прирост
Относительный

Доверительный интервал разницы конверсий

Конверсия
CTR (ratio)

Мощность и MDE

n на руку
Достигнутая мощность
MDE при 80% мощности
цель 80%
0% 100%