SRM — Sample Ratio Mismatch

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

Sample Ratio Mismatch — расхождение наблюдаемых долей групп с ожидаемым сплитом. При плане 50/50 фактические 49.7/50.3 на большой выборке — не шум, а признак, что рандомизация, логирование или фильтрация сломаны. SRM отравляет весь тест: он смещает и ошибку первого рода, и оценку эффекта.

Как считать

Критерий согласия хи-квадрат: χ2=∑i(Oi−Ei)2/Ei\chi^2 = \sum_i (O_i - E_i)^2 / E_i с k−1k-1 степенями свободы, где OiO_i — наблюдаемые, EiE_i — ожидаемые размеры групп. Порог берут жёсткий, p<0.001p < 0.001: при множестве ежедневных проверок частота ложных срабатываний важнее чувствительности. Проверяют сплит на входе в воронку, а не только на собранных метриках.

Ловушки

SRM незаметен на малой выборке — проверяйте на полном трафике. Фильтрация ботов и выживших может создать или скрыть перекос. SRM нельзя «исправить» перевзвешиванием после факта: сперва находят причину, потом решают, годен ли тест.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 9 узлов и 26 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • A/B Testing Methodology Toolkit : AA-тест (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь)
  • AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тест : p-value (Явная связь), AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), Guardrail-метрика (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), A/B-тестирование (Тематическая связь)
  • Guardrail-метрика : A/B-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B-тестирование (Тематическая связь)
  • MDE — минимальный детектируемый эффект : A/B-тест (Явная связь), CUPED (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • SRM — Sample Ratio Mismatch : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), Guardrail-метрика (Явная связь), MDE — минимальный детектируемый эффект (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), CUPED (Тематическая связь), Guardrail-метрика (Тематическая связь), MDE — минимальный детектируемый эффект (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия