Бутстрап

Определение

Бутстрап — метод оценки распределения статистики через многократное пересэмплирование данных с возвращением. Вместо вывода формулы для стандартной ошибки эмпирическое распределение строят из $B$ «подвыборок» того же размера. Работает для статистик, у которых нет удобной асимптотики: медиан, перцентилей, ratio-метрик, сложных бизнес-показателей.

Как считать

Из исходной выборки $B$ раз берут $n$ наблюдений с возвращением, на каждой подвыборке считают статистику, получая распределение. Доверительный интервал — перцентили этого распределения (например, 2.5 и 97.5), либо BCa для поправки на смещение и скошенность. $B$ порядка 2000–10000.

Ловушки

Перцентильный интервал смещён при малых выборках и скошенных статистиках. Данные зависимы по пользователю, а не по строке — ресэмплировать нужно пользователей, иначе интервал ложно узкий. Бутстрап не лечит SRM и не заменяет проверку сплита. Он уточняет SE, но не увеличивает мощность радикально.

Связанное

• p-value
• Uplift-моделирование