AA-тест

Определение

AA-тест — эксперимент, в котором обе группы получают один и тот же опыт, то есть истинный эффект по построению равен нулю. Он проверяет не продукт, а инструмент: корректность сплита, расчёт метрик, оценку стандартной ошибки и работу пайплайна.

Как считать

Запускают на реальном трафике до или параллельно с основным тестом. Доля «значимых» различий при $\alpha = 0.05$ должна быть около 5%, а p-values — распределены равномерно. Дополнительно смотрят SRM и стабильность метрик по дням. Для каждого нового типа метрики AA-тест полезен, хотя бы прогоном на исторических данных.

Ловушки

AA-тест не поймает ошибку, специфичную для конкретного варианта, — он валидирует только общую инфраструктуру. Пройденный AA не гарантирует корректности под реальным эффектом. Тратить на него весь трафик нельзя: это вычитает мощность у полезных тестов. Единичный AA без SRM-проверки мало что доказывает.

Связанное

• SRM
• p-value
• CUPED