p-value

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

p-value — вероятность наблюдать статистику не менее экстремальную, чем полученная, при условии что нулевая гипотеза верна. Это не вероятность, что эффект случаен, и не P(H0∣данные)P(H_0 \mid \text{данные}). Малое p говорит лишь о несовместимости данных с нулём, но ничего не сообщает о величине эффекта.

Как считать

Считают по тестовой статистике и её распределению при нуле: p=P(T≥tobs∣H0)p = P(T \ge t_{\text{obs}} \mid H_0). Аналитически — для t- и z-тестов, либо перестановочным тестом и бутстрапом, когда распределение неизвестно. Двусторонний вариант удваивает хвост.

Ловушки

p-value не заменяет доверительный интервал и размер эффекта: значимый эффект может быть ничтожным. Множественное тестирование раздувает долю ложных находок — нужна поправка (BH, Holm). Peeking и остановка по значимости завышают ошибку первого рода; p не «доказывает» гипотезу, а лишь не опровергает её.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 11 узлов и 38 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • A/B Testing Methodology Toolkit : Доверительный интервал (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Мощность теста (Явная связь)
  • AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Доверительный интервал (Явная связь), A/B-тестирование (Тематическая связь)
  • Бутстрап : p-value (Явная связь), Доверительный интервал (Явная связь), A/B-тестирование (Тематическая связь)
  • Доверительный интервал : A/B Testing Methodology Toolkit (Явная связь), p-value (Явная связь), Бутстрап (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
  • MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : AA-тест (Явная связь), A/B-тест (Явная связь), Бутстрап (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • SRM — Sample Ratio Mismatch : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), AA-тест (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), Бутстрап (Тематическая связь), Доверительный интервал (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия