SRM — Sample Ratio Mismatch

Определение

Sample Ratio Mismatch — расхождение наблюдаемых долей групп с ожидаемым сплитом. При плане 50/50 фактические 49.7/50.3 на большой выборке — не шум, а признак, что рандомизация, логирование или фильтрация сломаны. SRM отравляет весь тест: он смещает и ошибку первого рода, и оценку эффекта.

Как считать

Критерий согласия хи-квадрат: $\chi^2 = \sum_i (O_i - E_i)^2 / E_i$ с $k-1$ степенями свободы, где $O_i$ — наблюдаемые, $E_i$ — ожидаемые размеры групп. Порог берут жёсткий, $p < 0.001$: при множестве ежедневных проверок частота ложных срабатываний важнее чувствительности. Проверяют сплит на входе в воронку, а не только на собранных метриках.

Ловушки

SRM незаметен на малой выборке — проверяйте на полном трафике. Фильтрация ботов и выживших может создать или скрыть перекос. SRM нельзя «исправить» перевзвешиванием после факта: сперва находят причину, потом решают, годен ли тест.

Связанное

• AA-тест
• CUPED
• p-value