AA-тест

Содержание
  1. Определение
  2. Как считать
  3. Ловушки

Определение

AA-тест — эксперимент, в котором обе группы получают один и тот же опыт, то есть истинный эффект по построению равен нулю. Он проверяет не продукт, а инструмент: корректность сплита, расчёт метрик, оценку стандартной ошибки и работу пайплайна.

Как считать

Запускают на реальном трафике до или параллельно с основным тестом. Доля «значимых» различий при α=0.05\alpha = 0.05 должна быть около 5%, а p-values — распределены равномерно. Дополнительно смотрят SRM и стабильность метрик по дням. Для каждого нового типа метрики AA-тест полезен, хотя бы прогоном на исторических данных.

Ловушки

AA-тест не поймает ошибку, специфичную для конкретного варианта, — он валидирует только общую инфраструктуру. Пройденный AA не гарантирует корректности под реальным эффектом. Тратить на него весь трафик нельзя: это вычитает мощность у полезных тестов. Единичный AA без SRM-проверки мало что доказывает.

Связанные понятия

Упоминается в

Карта связей

Интерактивный подграф: 8 узлов и 23 связей вокруг этой страницы. Каждый узел доступен с клавиатуры; Enter или пробел открывают связанную страницу. Полный список узлов и их связей — после графика.

  • A/B Testing Methodology Toolkit : AA-тест (Явная связь), p-value (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), Мощность теста (Явная связь)
  • AA-тест : SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), CUPED (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тест (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тест : p-value (Явная связь), Мощность теста (Явная связь), AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B-тестирование (Тематическая связь)
  • CUPED : AA-тест (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), p-value (Явная связь), Мощность теста (Явная связь), A/B-тестирование (Тематическая связь)
  • p-value : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), Мощность теста (Явная связь), SRM — Sample Ratio Mismatch (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • SRM — Sample Ratio Mismatch : AA-тест (Явная связь), A/B-тест (Явная связь), CUPED (Явная связь), p-value (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • Мощность теста : A/B-тест (Явная связь), CUPED (Явная связь), p-value (Явная связь), AA-тест (Явная связь), A/B Testing Methodology Toolkit (Явная связь), A/B-тестирование (Тематическая связь)
  • A/B-тестирование : AA-тест (Тематическая связь), A/B-тест (Тематическая связь), CUPED (Тематическая связь), p-value (Тематическая связь), SRM — Sample Ratio Mismatch (Тематическая связь), Мощность теста (Тематическая связь)

Термины, статьи и проекты, связанные с этим понятием. Касание или клик открывают узел.

← Все понятия