MDE — минимальный детектируемый эффект

Определение

MDE — минимальный размер эффекта, который тест обнаружит с заданной мощностью при уровне значимости $\alpha$ и данной выборке. Это характеристика чувствительности дизайна, а не предсказание результата: MDE говорит, какие эффекты тест вообще способен различить на шуме.

Как считать

Раскрывая формулу мощности относительно эффекта для двух групп: $\Delta = (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{2\sigma^2 / n}$. Величина обратна корню из выборки: чтобы уловить вдвое меньший эффект, нужно вчетверо больше наблюдений. Дисперсию $\sigma^2$ оценивают по историческим данным той же метрики.

Ловушки

MDE зависит от дисперсии, поэтому CUPED напрямую его снижает. Нельзя путать MDE с ожидаемым эффектом: маленький MDE означает высокую чувствительность, но не гарантирует, что эффект вообще есть. Считать MDE по подглядываемой выборке некорректно. Ratio-метрики требуют корректного SE, иначе MDE занижен.

Связанное

• Мощность теста
• p-value
• SRM
• CUPED