A/B Testing Methodology Toolkit
- Результат
- CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method находит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376 — все 18 модулей откалиброваны симуляцией
PythonNumPy / SciPypytestuv
A/B-тестирование
4 записи · 2 проекта
Проекты
Volta Neobank — Product Analytics
- Результат
- KYC-фикс: +5,72pp конверсии (p<0,0001) → €208,5K за 12 мес при 13,9× ROI; M3-удержание +9,2pp
Pythonpandas / NumPySciPy / Statsmodelsscikit-learnMatplotlib / Seabornuv + ruff
Записи
Гайды Feature Impact: как измерить влияние фичи, когда A/B невозможен
Когда фича уже запущена или рандомизация невозможна, A/B-тест молчит. Causal-фреймворк — CUPED, DiD, synthetic control, propensity matching — позволяет выделить чистый эффект фичи из observational данных и не принять self-selection за пользу.
Журнал решений Кейс Volta: воронка, A/B и retention на синтетике необанка обновлено 27 сент. 2026 г.
Полный цикл продуктовой аналитики на синтетическом необанке: где терялась воронка, как CUPED и AA-тест удержали Type I, что показали когортные треугольники и почему 4 сегмента важнее 125 ячеек.
Гайды Калибровка A/B-методов симуляцией: как проверить метод до продакшена обновлено 23 авг. 2026 г.
p-value из учебника не доказывает метод — доказывает симуляция. Как проверять каждый A/B-модуль A/A-тестом под нулём и power-кривой под эффектом: CUPED, peeking, ratio-метрики, mSPRT.
Журнал решений Почему мы перешли на байесовское A/B-тестирование обновлено 25 авг. 2026 г.
Frequentist p-values плодили культуру peeking: 34 из 127 экспериментов показывали значимость, а потом разворачивались. Как Bayesian inference поменял workflow.