CUPED
Содержание
Определение
CUPED (Controlled-experiment Using Pre-Experiment Data) — метод снижения дисперсии метрики за счёт ковариаты, измеренной до эксперимента. Часть разброса метрики объясняется предэкспериментальным поведением пользователя; вычитая предсказанную по нему компоненту, получают ту же несмещённую оценку эффекта при меньшем стандартном отклонении.
Как считать
Скорректированная метрика: Y~=Y−θ(X−Xˉ), где X — та же метрика или прокси до старта, а θ=Cov(Y,X)/Var(X). Оптимальный θ снижает дисперсию на ρ2, то есть стандартное отклонение — примерно в 1−ρ2 раз. При ρ=0.7 это около 30% экономии выборки.
Ловушки
X обязана быть измерена до эксперимента и не зависеть от воздействия — иначе оценка смещается. Корреляция должна быть устойчивой между группами: если pre-период не похож на окно теста, θ подгоняется под шум. Для ratio-метрик ковариацию считают через delta-method, а не напрямую.
Связанные понятия
Понятия
- SRM — Sample Ratio Mismatch
SRM — расхождение фактического сплита с ожидаемым. На большой выборке это сигнал о поломке рандомизации, а не о случайном шуме.
- p-value
p-value — вероятность увидеть эффект не меньше наблюдаемого, если верна нулевая гипотеза. Это не вероятность, что эффект случаен.
- Мощность теста
Мощность теста — вероятность обнаружить эффект заданного размера, если он действительно есть. Это 1 минус ошибка второго рода.
- MDE — минимальный детектируемый эффект
MDE — наименьший эффект, который тест способен надёжно поймать при заданных размере выборки, значимости и мощности.
Проекты
- Causal / Uplift — CUPED and Individual Treatment Effects
CUPED срезал стандартную ошибку на 26%: та же мощность на 5,5k пользователей на руку вместо 10k. Предрегистрированный порог окупаемости 0.05 отправляет кампанию только на new.
Упоминается в
Материалы сайта, которые ссылаются на эту страницу.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
- Causal / Uplift — CUPED and Individual Treatment Effects
CUPED срезал стандартную ошибку на 26%: та же мощность на 5,5k пользователей на руку вместо 10k. Предрегистрированный порог окупаемости 0.05 отправляет кампанию только на new.
- CRM Experiment Lab — сегментная рандомизация, GCG и нетто-эффект
CRM-эксперимент: рандомизация на этапе сегмента держит SRM p=0.266, GCG-аплифт +0.9968 покупки на пользователя, а нетто-эффект +50.5 на 1 000 отправок с учётом отписок.
- RAG Evaluation Harness — retrieval and generation metrics
RAG-пайплайн с офлайн-харнессом: recall@5 и MRR = 1.00 на 20 вопросах, correctness 0.37 — и 0.00 на контроле с промахами ретрива. TF-IDF без API-ключей; faithfulness ≡1.00 — инвариант экстрактива.
- SERP Rank Lab
На синтетическом логе две политики на одном множестве: деньги дают +34.45% выручки на поиск за −16.84% CTR, а раскатка по user_id — −14.26% и вердикт «не катим».
- Volta Neobank — Product Analytics
Закрыл узкое место онбординга необанка A/B-тестом: +5,72 пп конверсии KYC, €208,5K за 12 мес при 13,9× ROI. 23 проекта: воронка → A/B → retention → сегментация → Market & Jobs → RAT v2 → causal.
Посты
- Калибровка A/B-методов симуляцией: как проверить метод до продакшена
p-value из учебника не доказывает метод — доказывает симуляция. Как проверять каждый A/B-модуль A/A-тестом под нулём и power-кривой под эффектом: CUPED, peeking, ratio-метрики, mSPRT.
- Feature Impact: как измерить влияние фичи, когда A/B невозможен
Когда фича уже запущена или рандомизация невозможна, A/B-тест молчит. Causal-фреймворк — CUPED, DiD, synthetic control, propensity matching — позволяет выделить чистый эффект фичи из observational данных и не принять self-selection за пользу.
- Кейс Volta: воронка, A/B и retention на синтетике необанка
Полный цикл продуктовой аналитики на синтетическом необанке: где терялась воронка, как CUPED и AA-тест удержали Type I, что показали когортные треугольники и почему 4 сегмента важнее 125 ячеек.
Карта связей
Интерактивный подграф: 10 узлов и 28 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.
- Causal / Uplift — CUPED and Individual Treatment Effects : Корреляция и причинность (Явная связь), CUPED (Явная связь), Uplift-моделирование (Явная связь)
- AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
- Корреляция и причинность : Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), Uplift-моделирование (Явная связь), CUPED (Явная связь), A/B-тестирование (Тематическая связь)
- CUPED : AA-тест (Явная связь), Корреляция и причинность (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
- MDE — минимальный детектируемый эффект : CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Uplift-моделирование (Явная связь), A/B-тестирование (Тематическая связь)
- p-value : AA-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B-тестирование (Тематическая связь)
- SRM — Sample Ratio Mismatch : AA-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B-тестирование (Тематическая связь)
- Мощность теста : CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), AA-тест (Явная связь), A/B-тестирование (Тематическая связь)
- Uplift-моделирование : Корреляция и причинность (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Causal / Uplift — CUPED and Individual Treatment Effects (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тестирование : AA-тест (Тематическая связь), Корреляция и причинность (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь), Uplift-моделирование (Тематическая связь)
Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.