A/B-тестирование

Когда фича уже запущена или рандомизация невозможна, A/B-тест молчит. Causal-фреймворк — CUPED, DiD, synthetic control, propensity matching — позволяет выделить чистый эффект фичи из observational данных и не принять self-selection за пользу.

Полный цикл продуктовой аналитики на синтетическом необанке: где терялась воронка, как CUPED и AA-тест удержали Type I, что показали когортные треугольники и почему 4 сегмента важнее 125 ячеек.

p-value из учебника не доказывает метод — доказывает симуляция. Как проверять каждый A/B-модуль A/A-тестом под нулём и power-кривой под эффектом: CUPED, peeking, ratio-метрики, mSPRT.

Frequentist p-values плодили культуру peeking: 34 из 127 экспериментов показывали значимость, а потом разворачивались. Как Bayesian inference поменял workflow.