Мощность теста

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

Мощность — вероятность отвергнуть нулевую гипотезу, когда истинный эффект равен заданной величине. Обозначается 1−β1-\beta, где β\beta — ошибка второго рода. Мощность 0.8 означает, что реальный эффект нужного размера будет найден в 80% повторений; в остальных тест пропустит его и вернёт незначимый результат.

Как считать

Мощность растёт с размером выборки, величиной эффекта и уровнем значимости и падает с дисперсией. Для двухвыборочного среднего приближённо: n≈2(z1−α/2+z1−β)2σ2/Δ2n \approx 2 (z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2 / \Delta^2 на группу. Дисперсию берут из исторических данных, эффект — из MDE, который продукт считает значимым.

Ловушки

Мощность считают до эксперимента: post-hoc мощность по наблюдаемому эффекту бессмысленна и почти всегда низка. Мощность не описывает найденный эффект — она про чувствительность дизайна. Несколько метрик в одном тесте снижают мощность каждой; CUPED возвращает её, уменьшая σ2\sigma^2.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 9 узлов и 28 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • A/B Testing Methodology Toolkit : Размер выборки (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Мощность теста (Явная связь)
  • AA-тест : p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : AA-тест (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
  • MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Размер выборки : A/B Testing Methodology Toolkit (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Размер выборки (Явная связь), AA-тест (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), Размер выборки (Тематическая связь), Мощность теста (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия