Словарь

Краткие определения терминов продуктовой аналитики. Сгруппированы по темам; счётчик — число понятий в разделе.

Темы:

Статистика

7
Бутстрап Бутстрап оценивает распределение статистики пересэмплированием с возвращением — без опоры на асимптотические формулы и нормальность. Доверительный интервал Доверительный интервал задаёт диапазон, который при повторении эксперимента накрывал бы истинный эффект с заданной частотой — в отличие от p-value, показывает и величину, и неопределённость. Корреляция и причинность Корреляция показывает совместное изменение величин, причинность — что одно вызывает другое. Связь без механизма и контроля не доказывает эффект. Мощность теста Мощность теста — вероятность обнаружить эффект заданного размера, если он действительно есть. Это 1 минус ошибка второго рода. Размер выборки Размер выборки — число наблюдений, нужное, чтобы поймать эффект заданной величины с заданной мощностью и значимостью. Считается до запуска теста. MDE — минимальный детектируемый эффект MDE — наименьший эффект, который тест способен надёжно поймать при заданных размере выборки, значимости и мощности. p-value p-value — вероятность увидеть эффект не меньше наблюдаемого, если верна нулевая гипотеза. Это не вероятность, что эффект случаен.

Эксперименты

6
A/B-тест A/B-тест сравнивает две версии продукта на случайно разделённых группах, чтобы отделить эффект изменения от естественного разброса метрик. AA-тест AA-тест подаёт одинаковый опыт в обе группы и проверяет инструмент: сплит, метрики и стандартную ошибку до основного эксперимента. CUPED CUPED снижает дисперсию метрики за счёт предэкспериментальной ковариаты: та же оценка эффекта при меньшем стандартном отклонении и большей мощности. Guardrail-метрика Guardrail-метрика — метрика-ограничитель, которую эксперимент не должен ухудшить: она ловит побочный ущерб, пока основная метрика растёт. SRM — Sample Ratio Mismatch SRM — расхождение фактического сплита с ожидаемым. На большой выборке это сигнал о поломке рандомизации, а не о случайном шуме. Uplift-моделирование Uplift-моделирование предсказывает причинный эффект воздействия на отдельного пользователя, а не его исход — и тем отличается от обычного прогноза.

Продукт

8
Воронка Воронка — последовательность шагов от входа к целевому действию с конверсией между ними. Показывает, где теряются пользователи. Когорта Когорта — группа пользователей, объединённых общим временем старта или событием. Основа когортного анализа удержания. Кривая удержания Кривая удержания показывает долю вернувшихся по периодам после старта. Её форма — сигнатура продукта и его стабильности. Отток (churn) Отток — доля пользователей, переставших быть активными за период. Обратная сторона retention и прямой вход в расчёт LTV. DAU / MAU и stickiness DAU и MAU — уникальные активные пользователи за день и месяц; их отношение, stickiness, показывает, насколько продукт вошёл в привычку. North Star Metric North Star Metric — метрика, отражающая ценность продукта для пользователя и предсказывающая долгосрочный рост бизнеса. Retention Retention — доля пользователей, вернувшихся к продукту после первого взаимодействия. Базовая метрика ценности и удержания. Time-to-convert Time-to-convert — время от входа до целевого действия. Показывает скорость конверсии когорты, а не только её итоговую долю.