Python

A/B Testing Methodology Toolkit

Результат

CUPED срезает дисперсию на 17.7% (SE 0.00360 → 0.00327), delta-method находит CTR-лифт +0.51 pp при p < 0.0001, SRM p = 0.8376 — все 18 модулей откалиброваны симуляцией

Airflow DAG Platform

Результат

Три DAG-а по общему шаблону, 72 теста без Airflow-сервисов и БД; полный прогон DAG занимает 440 с, из них задача forecast — 413 с

Data Analyst Telegram Bot

Результат

Из CSV — p-value, лифт и 95% CI менее чем за 30 секунд, плюс заметка по мощности и график; /export отдаёт standalone HTML

Causal / Uplift — CUPED and Individual Treatment Effects

Результат

CUPED срезает стандартную ошибку на 26% (5,5k пользователей на руку вместо 10k), а предрегистрированный порог окупаемости 0.05 отправляет кампанию только на new.

Churn Prediction — Leakage-Free Retention Model

Результат

В топ-10% самых рискующих модель ловит 54,4% отточников при lift 5,44×, но на at-risk подгруппе — 1,75×: 69,7% когорты — почти гарантированные негативы по конструкции.

ClickHouse — десять SQL-кейсов на 50 млн строк

Результат

Снапшот и семь DuckDB-двойников сходятся, идентичность slow и fast SQL закреплена тестом, а проекция проходит заложенный в тест порог ускорения ≥10× на полном скане

Cohort Analysis Dashboard

Результат

Python внутри Tableau: 4 когортных расчёта на TabPy-сервере и 65 тестов; когортная матрица вместо среднего retention показывает скорость оттока и расхождение монетизации с удержанием

CRM Experiment Lab — сегментная рандомизация, GCG и нетто-эффект

Результат

Сегментная рандомизация держит SRM p=0.266, GCG-аплифт +0.9968 [0.9433, 1.0502], а нетто-эффект +50.5 на 1 000 обработанных — положительный, но guardrail отписок пробит.

Delivery Control Tower

Результат

Лучший WAPE 6.01% на h=7 у seasonal_naive; время доставки почти не зависит от нагрузки (rho = −0.092), но закуски идут 40.0 мин против 26.6 мин у пиццы; доля mp выросла на 5.7 п.п.

Реальные данные

GMV Drop RCA — разбор падения на реальных данных

Результат

UK дециль-1 объясняет 56,2% именованного падения (−£195 218,25); полная атрибуция сходится в £0,00 при общем спаде −10,0%

LinkedIn Content Analytics

Результат

50 101 показов, охват 9 440, ER 1.71 % за окно 12.10.2025 — 11.10.2026; три из четырёх разрезов оказались внутри шума, и это записано как результат

Ликвидность классифайда — аудит измеримости

Результат

Прокси 0,2413 против истины 0,3070: ошибка −0,0657 (−21,4%); после поправки худшая категория ошибается на 1,61 п.п., а платная видимость даёт −2,47% контактов на сессию при p = 0,308

ML Fundamentals — scikit-learn Pipeline

Результат

Сплит воспроизводим без сида (Train (8, 5), Test (2, 5)), четыре синтетических датасета и 21 тест (7 + 9 + 5) держат конвейер запускаемым

Программа Матемаркетинг 2026 — статическая копия

Результат

Сетка совпадает с оригиналом до пикселя: колонка времени 99 px, зал 420 px, карточка 391 px, строка 550 px, верх сетки y = 414; тесты ловят расхождение данных и вёрстки

Реальные данные

OSS-каталог — 47 проектов из одного источника

Результат

47 страниц проектов и 15 полей метаданных собираются из одного TOML; повторный рендер идемпотентен, а 26 тестов покрывают три ветки сопоставления записей

TaskFlow — PostHog Product Analytics Pipeline

Результат

Онбординг-тест на сидированном потоке: завершение 55.9% → 70.8% (+26.6%, χ² = 40.10, p < 0.0001, SRM p = 0.90), а до платного апгрейда доходят 6.3% завершивших регистрацию

Product A/B & Funnel Analytics — конверсия против удержания

Результат

SHIP: activation → paid +19.59% (p=0.000946) без деградации guardrails; при равном шаге конверсия даёт +10.00% к LTV против +8.65% у удержания

Promo Margin Lab — цена промо в рублях

Результат

Промо даёт +68.5 млн ₽ выручки и −24.4 млн ₽ прибыли; 97.9% волн убыточны при breakeven-глубине 1.0–19.5% и фактической 25.4%, а на одном бюджете оптимизатор зарабатывает +231 496 ₽ против +136 648 ₽ у top-15%

Python Analytics Playground

Результат

Покрытие pytest ≥80%; модули маленькие и одноцелевые, требования в PRD, инструмент можно дорабатывать, не ломая существующее

RAG Evaluation Harness — retrieval and generation metrics

Результат

recall@5 и MRR = 1.00 на 20 вопросах и 0.00 на 11-вопросном контроле с промахами ретрива (MRR@all 0.12) — метрика способна падать; correctness 0.37 у офлайн-базлайна (faithfulness ≡1.00 — инвариант экстрактива); ретрив и генерация оцениваются раздельно

RFM Analysis of Bank Clients

Результат

Шесть именованных сегментов; топ-20% клиентов держат 38,2% выручки (Gini 0,324), а Champions — 6,4% базы, дающие 12,1% дохода

Sales Calls Analytics Dashboard

Результат

Ответ за минуту: где бот теряет клиента и что чинить; на выходе — взвешенная потеря контактов и первый A/B-сценарий

SERP Rank Lab

Результат

На синтетическом логе: +34.45% выручки на поиск за −16.84% CTR; в раскатке −14.26% (p = 0.11) и −16.05% конверсии → не катим

Реальные + синтетика

SQL Analytics Case Study

Результат

Воронка теряет 78% на add-to-cart → checkout (54% — это шаг view→cart); retention с ~19.5% (D1) до ~4% (D30); повторных покупок 3.5%; на real data возвращаются 72.4%

Product Analytics Dashboard (Streamlit)

Результат

Funnel, Retention, Revenue и Segments читаются на одной базе; тот же UI стал слоем презентации Supabase-проекта

Product Analytics + A/B on Supabase

Результат

Итог A/B на сидированном потоке: control 29,6% против treatment 40,7%, +11,1 пп при p ≈ 1,7·10⁻¹⁰ (χ²); метрики считаются в живой базе для любого клиента

Volta Neobank — Product Analytics

Результат

KYC-фикс: +5,72pp конверсии (p<0,0001) → €208,5K за 12 мес при 13,9× ROI; M3-удержание +9,2pp