CUPED

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

CUPED (Controlled-experiment Using Pre-Experiment Data) — метод снижения дисперсии метрики за счёт ковариаты, измеренной до эксперимента. Часть разброса метрики объясняется предэкспериментальным поведением пользователя; вычитая предсказанную по нему компоненту, получают ту же несмещённую оценку эффекта при меньшем стандартном отклонении.

Как считать

Скорректированная метрика: Y~=Y−θ(X−Xˉ)\tilde{Y} = Y - \theta (X - \bar X), где XX — та же метрика или прокси до старта, а θ=Cov⁡(Y,X)/Var⁡(X)\theta = \operatorname{Cov}(Y, X)/\operatorname{Var}(X). Оптимальный θ\theta снижает дисперсию на ρ2\rho^2, то есть стандартное отклонение — примерно в 1−ρ2\sqrt{1-\rho^2} раз. При ρ=0.7\rho = 0.7 это около 30% экономии выборки.

Ловушки

XX обязана быть измерена до эксперимента и не зависеть от воздействия — иначе оценка смещается. Корреляция должна быть устойчивой между группами: если pre-период не похож на окно теста, θ\theta подгоняется под шум. Для ratio-метрик ковариацию считают через delta-method, а не напрямую.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 10 узлов и 28 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • Causal / Uplift — CUPED and Individual Treatment Effects : Корреляция и причинность (Явная связь), CUPED (Явная связь), Uplift-моделирование (Явная связь)
  • AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
  • Корреляция и причинность : Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), Uplift-моделирование (Явная связь), CUPED (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : AA-тест (Явная связь), Корреляция и причинность (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
  • MDE — минимальный детектируемый эффект : CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : AA-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B-тестирование (Тематическая связь)
  • SRM — Sample Ratio Mismatch : AA-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B-тестирование (Тематическая связь)
  • Мощность теста : CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), AA-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • Uplift-моделирование : Корреляция и причинность (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : AA-тест (Тематическая связь), Корреляция и причинность (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь), Uplift-моделирование (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия