Мощность теста

Определение

Мощность — вероятность отвергнуть нулевую гипотезу, когда истинный эффект равен заданной величине. Обозначается $1-\beta$, где $\beta$ — ошибка второго рода. Мощность 0.8 означает, что реальный эффект нужного размера будет найден в 80% повторений; в остальных тест пропустит его и вернёт незначимый результат.

Как считать

Мощность растёт с размером выборки, величиной эффекта и уровнем значимости и падает с дисперсией. Для двухвыборочного среднего приближённо: $n \approx 2 (z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2 / \Delta^2$ на группу. Дисперсию берут из исторических данных, эффект — из MDE, который продукт считает значимым.

Ловушки

Мощность считают до эксперимента: post-hoc мощность по наблюдаемому эффекту бессмысленна и почти всегда низка. Мощность не описывает найденный эффект — она про чувствительность дизайна. Несколько метрик в одном тесте снижают мощность каждой; CUPED возвращает её, уменьшая $\sigma^2$.

Связанное

• MDE
• p-value
• AA-тест