Мощность теста
Содержание
Определение
Мощность — вероятность отвергнуть нулевую гипотезу, когда истинный эффект равен заданной величине. Обозначается 1−β, где β — ошибка второго рода. Мощность 0.8 означает, что реальный эффект нужного размера будет найден в 80% повторений; в остальных тест пропустит его и вернёт незначимый результат.
Как считать
Мощность растёт с размером выборки, величиной эффекта и уровнем значимости и падает с дисперсией. Для двухвыборочного среднего приближённо: n≈2(z1−α/2+z1−β)2σ2/Δ2 на группу. Дисперсию берут из исторических данных, эффект — из MDE, который продукт считает значимым.
Ловушки
Мощность считают до эксперимента: post-hoc мощность по наблюдаемому эффекту бессмысленна и почти всегда низка. Мощность не описывает найденный эффект — она про чувствительность дизайна. Несколько метрик в одном тесте снижают мощность каждой; CUPED возвращает её, уменьшая σ2.
Связанные понятия
Понятия
- MDE — минимальный детектируемый эффект
MDE — наименьший эффект, который тест способен надёжно поймать при заданных размере выборки, значимости и мощности.
- p-value
p-value — вероятность увидеть эффект не меньше наблюдаемого, если верна нулевая гипотеза. Это не вероятность, что эффект случаен.
- AA-тест
AA-тест подаёт одинаковый опыт в обе группы и проверяет инструмент: сплит, метрики и стандартную ошибку до основного эксперимента.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
Упоминается в
Материалы сайта, которые ссылаются на эту страницу.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
- Data Analyst Telegram Bot
Telegram-бот для аналитика без BI: CSV из выгрузки превращается в p-value, лифт и 95% CI за 30 секунд — 12 команд, история анализов и экспорт в HTML.
- CRM Experiment Lab — сегментная рандомизация, GCG и нетто-эффект
CRM-эксперимент: рандомизация на этапе сегмента держит SRM p=0.266, GCG-аплифт +0.9968 покупки на пользователя, а нетто-эффект +50.5 на 1 000 отправок с учётом отписок.
- Volta Neobank — Product Analytics
Закрыл узкое место онбординга необанка A/B-тестом: +5,72 пп конверсии KYC, €208,5K за 12 мес при 13,9× ROI. 23 проекта: воронка → A/B → retention → сегментация → Market & Jobs → RAT v2 → causal.
Посты
- Калибровка A/B-методов симуляцией: как проверить метод до продакшена
p-value из учебника не доказывает метод — доказывает симуляция. Как проверять каждый A/B-модуль A/A-тестом под нулём и power-кривой под эффектом: CUPED, peeking, ratio-метрики, mSPRT.
- Почему мы перешли на байесовское A/B-тестирование
Frequentist p-values плодили культуру peeking: 34 из 127 экспериментов показывали значимость, а потом разворачивались. Как Bayesian inference поменял workflow.
- EDA-шаблон с кодом: разведочный анализ по-продуктовому
Повторяемый шаблон разведочного анализа на pandas, numpy и seaborn: от схемы данных до продуктовых гипотез. Код, который я копирую в каждый новый проект, чтобы не забыть ключевые проверки.
- Feature Impact: как измерить влияние фичи, когда A/B невозможен
Когда фича уже запущена или рандомизация невозможна, A/B-тест молчит. Causal-фреймворк — CUPED, DiD, synthetic control, propensity matching — позволяет выделить чистый эффект фичи из observational данных и не принять self-selection за пользу.
- RFM-сегментация клиентов
RFM раскладывает клиентов по трём осям — давность, частота, сумма — и превращает скоринг в действия. Практический фреймворк с SQL, разбором нюансов и кейсом.
- Streamlit-дашборд за выходные: прототип без BI-системы
Заказчик хочет увидеть метрики послезавтра, а BI-системы нет или она тяжёлая. Streamlit закрывает именно этот разрыв: прототип дашборда за выходные, который можно показать живой ссылкой.
- Кейс Volta: воронка, A/B и retention на синтетике необанка
Полный цикл продуктовой аналитики на синтетическом необанке: где терялась воронка, как CUPED и AA-тест удержали Type I, что показали когортные треугольники и почему 4 сегмента важнее 125 ячеек.
Карта связей
Интерактивный подграф: 9 узлов и 28 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.
- A/B Testing Methodology Toolkit : Размер выборки (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Мощность теста (Явная связь)
- AA-тест : p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
- CUPED : AA-тест (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
- MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
- p-value : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- Размер выборки : A/B Testing Methodology Toolkit (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
- Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Размер выборки (Явная связь), AA-тест (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), Размер выборки (Тематическая связь), Мощность теста (Тематическая связь)
Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.