MDE — минимальный детектируемый эффект

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

MDE — минимальный размер эффекта, который тест обнаружит с заданной мощностью при уровне значимости α\alpha и данной выборке. Это характеристика чувствительности дизайна, а не предсказание результата: MDE говорит, какие эффекты тест вообще способен различить на шуме.

Как считать

Раскрывая формулу мощности относительно эффекта для двух групп: Δ=(z1−α/2+z1−β)2σ2/n\Delta = (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{2\sigma^2 / n}. Величина обратна корню из выборки: чтобы уловить вдвое меньший эффект, нужно вчетверо больше наблюдений. Дисперсию σ2\sigma^2 оценивают по историческим данным той же метрики.

Ловушки

MDE зависит от дисперсии, поэтому CUPED напрямую его снижает. Нельзя путать MDE с ожидаемым эффектом: маленький MDE означает высокую чувствительность, но не гарантирует, что эффект вообще есть. Считать MDE по подглядываемой выборке некорректно. Ratio-метрики требуют корректного SE, иначе MDE занижен.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 11 узлов и 36 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • A/B Testing Methodology Toolkit : Доверительный интервал (Явная связь), Размер выборки (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Мощность теста (Явная связь)
  • A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Доверительный интервал (Явная связь), Размер выборки (Явная связь), A/B-тестирование (Тематическая связь)
  • Доверительный интервал : A/B Testing Methodology Toolkit (Явная связь), p-value (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
  • MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), Размер выборки (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Размер выборки : A/B Testing Methodology Toolkit (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • SRM — Sample Ratio Mismatch : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), Размер выборки (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Uplift-моделирование : CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : A/B-тест (Тематическая связь), Доверительный интервал (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), Размер выборки (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь), Uplift-моделирование (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия