p-value
Содержание
Определение
p-value — вероятность наблюдать статистику не менее экстремальную, чем полученная, при условии что нулевая гипотеза верна. Это не вероятность, что эффект случаен, и не P(H0∣данные). Малое p говорит лишь о несовместимости данных с нулём, но ничего не сообщает о величине эффекта.
Как считать
Считают по тестовой статистике и её распределению при нуле: p=P(T≥tobs∣H0). Аналитически — для t- и z-тестов, либо перестановочным тестом и бутстрапом, когда распределение неизвестно. Двусторонний вариант удваивает хвост.
Ловушки
p-value не заменяет доверительный интервал и размер эффекта: значимый эффект может быть ничтожным. Множественное тестирование раздувает долю ложных находок — нужна поправка (BH, Holm). Peeking и остановка по значимости завышают ошибку первого рода; p не «доказывает» гипотезу, а лишь не опровергает её.
Связанные понятия
Понятия
- Мощность теста
Мощность теста — вероятность обнаружить эффект заданного размера, если он действительно есть. Это 1 минус ошибка второго рода.
- MDE — минимальный детектируемый эффект
MDE — наименьший эффект, который тест способен надёжно поймать при заданных размере выборки, значимости и мощности.
- AA-тест
AA-тест подаёт одинаковый опыт в обе группы и проверяет инструмент: сплит, метрики и стандартную ошибку до основного эксперимента.
- SRM — Sample Ratio Mismatch
SRM — расхождение фактического сплита с ожидаемым. На большой выборке это сигнал о поломке рандомизации, а не о случайном шуме.
- Бутстрап
Бутстрап оценивает распределение статистики пересэмплированием с возвращением — без опоры на асимптотические формулы и нормальность.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
Упоминается в
Материалы сайта, которые ссылаются на эту страницу.
Проекты
- A/B Testing Methodology Toolkit
18 модулей A/B-методологии с калибровкой: CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method ловит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376.
- Data Analyst Telegram Bot
Telegram-бот для аналитика без BI: CSV из выгрузки превращается в p-value, лифт и 95% CI за 30 секунд — 12 команд, история анализов и экспорт в HTML.
- CRM Experiment Lab — сегментная рандомизация, GCG и нетто-эффект
CRM-эксперимент: рандомизация на этапе сегмента держит SRM p=0.266, GCG-аплифт +0.9968 покупки на пользователя, а нетто-эффект +50.5 на 1 000 отправок с учётом отписок.
- Browser Mini-Games — Analytics Arcade
10 играбельных мини-игр в self-contained SVG: 7 аналитических (A/B до p<0.05, funnel drop, cohort catch, retention day) и 3 аркадных. Один файл — вся игра, без сборки.
- Product A/B & Funnel Analytics — конверсия против удержания
Воронка 12 000 → 9 623 → 3 384 и A/B на 2 552 пользователях: онбординг поднимает activation → paid на 19.59% (p=0.000946), вердикт SHIP; при равном шаге конверсия даёт +10.00% к LTV, удержание +8.65%
- SQL Analytics Case Study
26 SQL-кейсов: 25 на синтетике (~183k событий) + 1 real-data на UCI Online Retail II. Воронка, retention, LTV, атрибуция, аномалии, dbt-слой на DuckDB, живой отчёт на GitHub Pages.
Посты
- Калибровка A/B-методов симуляцией: как проверить метод до продакшена
p-value из учебника не доказывает метод — доказывает симуляция. Как проверять каждый A/B-модуль A/A-тестом под нулём и power-кривой под эффектом: CUPED, peeking, ratio-метрики, mSPRT.
- Почему мы перешли на байесовское A/B-тестирование
Frequentist p-values плодили культуру peeking: 34 из 127 экспериментов показывали значимость, а потом разворачивались. Как Bayesian inference поменял workflow.
- Чек-лист портфолио дата-аналитика
Что я проверяю перед тем, как отправить портфолио найм-менеджеру — на основе ревью своего и чужих. Семь пунктов в трёх группах.
- EDA-шаблон с кодом: разведочный анализ по-продуктовому
Повторяемый шаблон разведочного анализа на pandas, numpy и seaborn: от схемы данных до продуктовых гипотез. Код, который я копирую в каждый новый проект, чтобы не забыть ключевые проверки.
Карта связей
Интерактивный подграф: 11 узлов и 38 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.
- A/B Testing Methodology Toolkit : Доверительный интервал (Явная связь), AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Мощность теста (Явная связь)
- AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Доверительный интервал (Явная связь), A/B-тестирование (Тематическая связь)
- Бутстрап : p-value (Явная связь), Доверительный интервал (Явная связь), A/B-тестирование (Тематическая связь)
- Доверительный интервал : A/B Testing Methodology Toolkit (Явная связь), p-value (Явная связь), Бутстрап (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
- CUPED : AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
- MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- p-value : AA-тест (Явная связь), A/B-тест (Явная связь), Бутстрап (Явная связь), Доверительный интервал (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- SRM — Sample Ratio Mismatch : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), AA-тест (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
- A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), Бутстрап (Тематическая связь), Доверительный интервал (Тематическая связь), CUPED (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь)
Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.