A/B-тест
Содержание
Определение
A/B-тест — контролируемый эксперимент: пользователей случайно делят на контроль и тест, контроль видит текущий продукт, тест — изменённый. Разница в метрике между группами и есть оценка эффекта изменения.
Как считать
Сравнивают среднее или долю метрики в группах и проверяют значимость: t-тест для средних, z-тест для пропорций, бутстрап при негауссовых распределениях. Эффект читают вместе с доверительным интервалом, а не по одному p-value. Перед запуском фиксируют метрику, MDE и размер выборки.
Ловушки
Подглядывание в данные и остановка на первом значимом результате раздувают ошибку первого рода. Несколько метрик без поправки на множественные сравнения дают ложные срабатывания. Смена сплита, разное логирование событий в группах или боты ломают рандомизацию — это ловит проверка на SRM.