Project 15 показал, что generic-апселл не переносится, и рекомендовал сегментные офферы — но это не тестировалось. Этот проект тестирует generic (control) против сегментного (treatment).
Задача
От меня требовалось протестировать рекомендацию предыдущего проекта — сегментные офферы, которые до этого не проверялись. Нужно было сравнить generic-оффер как контроль с сегментным как treatment.
Данные: github.com/NikitaBoyarkin/volta-banking — 22 projects; figures recomputed from the repo's own datasets (data/*.csv) via its analysis scripts. Funnel counts from data/volta_funnel_data.csv (10,000 users); A/B, retention, segmentation, churn, RFM, CLV, attribution, anomalies, spend, support, NPS, JTBD, unit economics, premium, KYC deep-dive, referral, assisted CAC, FX sourcing, premium offers, anchor CAC and dormant win-back follow the published project narrative (README + part pages).
Сегментные premium-офферы: конверсия control vs treatment
Рандомизированный A/B: generic-апселл (control) против сегментного оффера (treatment) на четырёх сегментах. Treatment поднимает gap-сегменты, но не дотягивает до якоря.
Выводы
Treatment поднимает gap-сегменты: 45+ 1.6%→5.0%, семейные 4.4%→8.6%, путешественники 8.8%→12.6% — все значимы после Holm.
Якорь почти не двигается (+0.86 п.п.): 45+ treatment (5.0%) всё ещё ~3.8× ниже generic-оффера якоря (18.6%).
Сегментные premium-офферы: лифт treatment
Лифт treatment против control по сегментам (п.п.). Gap-сегменты дают лифт в 3–5 раз больше якоря.
Выводы
Gap-сегменты дают лифт в 3–5× больше якоря: +3.33 п.п. 45+, +4.16 п.п. семейные, +3.79 п.п. путешественники против +0.86 п.п. у якоря.
Оффер даёт +3.3…+4.2 п.п. там, где generic провалился, но сужает разрыв, а не закрывает его — «серебряной пули» нет.