Guardrail-метрика

Определение

Guardrail-метрика — метрика-ограничитель, которая не должна деградировать из-за изменения: скорость загрузки, доля ошибок, отписки, нагрузка на поддержку. Основная метрика отвечает на вопрос «стало ли лучше», guardrail — «не стало ли хуже в другом месте».

Как считать

Guardrail выбирают до старта и держат в том же тесте рядом с целевой метрикой. Порог задают как допустимое ухудшение в абсолютных единицах или в долях стандартного отклонения, с учётом поправки на множественность. Решение принимают по комбинации: эффект есть и ни один guardrail не пробил порог.

Ловушки

Guardrail без заранее заданного порога превращается в повод отклонить любой выигрышный тест. Слишком много guardrail-метрик без поправки на множественные сравнения дают ложные тревоги. Обратная ошибка тоже опасна: редкая или шумная guardrail-метрика не поймает реальную деградацию.