p-value

Определение

p-value — вероятность наблюдать статистику не менее экстремальную, чем полученная, при условии что нулевая гипотеза верна. Это не вероятность, что эффект случаен, и не $P(H_0 \mid \text{данные})$. Малое p говорит лишь о несовместимости данных с нулём, но ничего не сообщает о величине эффекта.

Как считать

Считают по тестовой статистике и её распределению при нуле: $p = P(T \ge t_{\text{obs}} \mid H_0)$. Аналитически — для t- и z-тестов, либо перестановочным тестом и бутстрапом, когда распределение неизвестно. Двусторонний вариант удваивает хвост.

Ловушки

p-value не заменяет доверительный интервал и размер эффекта: значимый эффект может быть ничтожным. Множественное тестирование раздувает долю ложных находок — нужна поправка (BH, Holm). Peeking и остановка по значимости завышают ошибку первого рода; p не «доказывает» гипотезу, а лишь не опровергает её.

Связанное

• Мощность теста
• MDE
• AA-тест
• SRM
• Бутстрап