MDE — минимальный детектируемый эффект
Содержание
Определение
MDE — минимальный размер эффекта, который тест обнаружит с заданной мощностью при уровне значимости α и данной выборке. Это характеристика чувствительности дизайна, а не предсказание результата: MDE говорит, какие эффекты тест вообще способен различить на шуме.
Как считать
Раскрывая формулу мощности относительно эффекта для двух групп: Δ=(z1−α/2+z1−β)2σ2/n. Величина обратна корню из выборки: чтобы уловить вдвое меньший эффект, нужно вчетверо больше наблюдений. Дисперсию σ2 оценивают по историческим данным той же метрики.
Ловушки
MDE зависит от дисперсии, поэтому CUPED напрямую его снижает. Нельзя путать MDE с ожидаемым эффектом: маленький MDE означает высокую чувствительность, но не гарантирует, что эффект вообще есть. Считать MDE по подглядываемой выборке некорректно. Ratio-метрики требуют корректного SE, иначе MDE занижен.
Связанные понятия
Понятия
- Мощность теста
Мощность теста — вероятность обнаружить эффект заданного размера, если он действительно есть. Это 1 минус ошибка второго рода.
- p-value
p-value — вероятность увидеть эффект не меньше наблюдаемого, если верна нулевая гипотеза. Это не вероятность, что эффект случаен.
- SRM — Sample Ratio Mismatch
SRM — расхождение фактического сплита с ожидаемым. На большой выборке это сигнал о поломке рандомизации, а не о случайном шуме.
- CUPED
CUPED снижает дисперсию метрики за счёт предэкспериментальной ковариаты: та же оценка эффекта при меньшем стандартном отклонении и большей мощности.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
Упоминается в
Материалы сайта, которые ссылаются на эту страницу.
Проекты
- CRM Experiment Lab — сегментная рандомизация, GCG и нетто-эффект
CRM-эксперимент: рандомизация на этапе сегмента держит SRM p=0.266, GCG-аплифт +0.9968 покупки на пользователя, а нетто-эффект +50.5 на 1 000 отправок с учётом отписок.
- Ликвидность классифайда — аудит измеримости
Синтетический классифайд с посаженной истиной: прокси-метрика занижает sell-through на 21,4%, EM-поправка возвращает все категории в 3 п.п., а платная видимость не проходит холдаут.
- Product A/B & Funnel Analytics — конверсия против удержания
Воронка 12 000 → 9 623 → 3 384 и A/B на 2 552 пользователях: онбординг поднимает activation → paid на 19.59% (p=0.000946), вердикт SHIP; при равном шаге конверсия даёт +10.00% к LTV, удержание +8.65%
- Promo Margin Lab — цена промо в рублях
Промо даёт +68.5 млн ₽ выручки и −24.4 млн ₽ прибыли: 97.9% волн убыточны, breakeven-глубина 1.0–19.5% при фактической 25.4%, а оптимизатор — +231 496 ₽ против +136 648 ₽ у top-15%.
- SERP Rank Lab
На синтетическом логе две политики на одном множестве: деньги дают +34.45% выручки на поиск за −16.84% CTR, а раскатка по user_id — −14.26% и вердикт «не катим».
- Volta Neobank — Product Analytics
Закрыл узкое место онбординга необанка A/B-тестом: +5,72 пп конверсии KYC, €208,5K за 12 мес при 13,9× ROI. 23 проекта: воронка → A/B → retention → сегментация → Market & Jobs → RAT v2 → causal.
Посты
- Почему мы перешли на байесовское A/B-тестирование
Frequentist p-values плодили культуру peeking: 34 из 127 экспериментов показывали значимость, а потом разворачивались. Как Bayesian inference поменял workflow.
- Чек-лист портфолио дата-аналитика
Что я проверяю перед тем, как отправить портфолио найм-менеджеру — на основе ревью своего и чужих. Семь пунктов в трёх группах.
- Кейс Volta: воронка, A/B и retention на синтетике необанка
Полный цикл продуктовой аналитики на синтетическом необанке: где терялась воронка, как CUPED и AA-тест удержали Type I, что показали когортные треугольники и почему 4 сегмента важнее 125 ячеек.
Карта связей
Интерактивный подграф: 11 узлов и 36 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.
- A/B Testing Methodology Toolkit : Доверительный интервал (Явная связь), Размер выборки (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Мощность теста (Явная связь)
- A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Доверительный интервал (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
- Доверительный интервал : A/B Testing Methodology Toolkit (Явная связь), p-value (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
- CUPED : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
- MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), Размер выборки (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
- p-value : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- Размер выборки : A/B Testing Methodology Toolkit (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
- SRM — Sample Ratio Mismatch : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Размер выборки (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- Uplift-моделирование : CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тестирование : A/B-тест (Тематическая связь), Доверительный интервал (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), Размер выборки (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь), Uplift-моделирование (Тематическая связь)
Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.