Доверительный интервал
Содержание
Определение
Доверительный интервал — диапазон вокруг точечной оценки, который при повторении эксперимента накрывал бы истинное значение эффекта в заданной доле случаев. Ширина интервала отражает неопределённость оценки, а не разброс самих данных.
Как считать
Для среднего: оценка плюс-минус критическое значение распределения, умноженное на стандартную ошибку. Для пропорций и ratio-метрик — через delta-method или бутстрап. В A/B-тесте интервал строят для разницы между группами; если он не накрывает ноль, эффект значим на том же уровне.
Ловушки
Интервал не означает, что истинный эффект «с вероятностью 95% лежит внутри» конкретного посчитанного отрезка — для частотной статистики такая формулировка неверна. Бутстрап-интервалы смещены на малых выборках, а на парных данных наивный бутстрап занижает ширину. Широкий интервал — сигнал нехватки данных, а не отсутствия эффекта.