Размер выборки
Содержание
Определение
Размер выборки — сколько наблюдений нужно набрать, чтобы обнаружить эффект заданной величины при выбранных значимости и мощности. Это расчёт на входе эксперимента, а не следствие уже собранных данных.
Как считать
Для сравнения двух средних число наблюдений на группу растёт как квадрат суммы критических значений, делённый на квадрат отношения эффекта к стандартному отклонению. Чтобы поймать эффект вдвое меньше, выборка нужна вчетверо больше. Дисперсию берут из истории, эффект — из MDE, который продукт считает значимым.
Ловушки
Считать размер выборки по наблюдаемому эффекту и потом заявлять мощность — круговая логика: слабый эффект требует огромной выборки, и мощность пост-фактум почти всегда низкая. Недооценка дисперсии занижает нужную выборку. Несколько метрик в одном тесте требуют поправки, иначе каждой не хватит мощности.