CUPED

Определение

CUPED (Controlled-experiment Using Pre-Experiment Data) — метод снижения дисперсии метрики за счёт ковариаты, измеренной до эксперимента. Часть разброса метрики объясняется предэкспериментальным поведением пользователя; вычитая предсказанную по нему компоненту, получают ту же несмещённую оценку эффекта при меньшем стандартном отклонении.

Как считать

Скорректированная метрика: $\tilde{Y} = Y - \theta (X - \bar X)$, где $X$ — та же метрика или прокси до старта, а $\theta = \operatorname{Cov}(Y, X)/\operatorname{Var}(X)$. Оптимальный $\theta$ снижает дисперсию на $\rho^2$, то есть стандартное отклонение — примерно в $\sqrt{1-\rho^2}$ раз. При $\rho = 0.7$ это около 30% экономии выборки.

Ловушки

$X$ обязана быть измерена до эксперимента и не зависеть от воздействия — иначе оценка смещается. Корреляция должна быть устойчивой между группами: если pre-период не похож на окно теста, $\theta$ подгоняется под шум. Для ratio-метрик ковариацию считают через delta-method, а не напрямую.

Связанное

• SRM
• p-value
• Мощность теста
• MDE