Программа конференции

Методы работы с чувствительными данными: какие данные бывают, какие методы подходят для каждого случая, как подобрать правильный метод и где всё это может поломаться. Разбираемся, как (и что) не разрешать провайдерам делать со своими данными. Подробно поговорим о том, как использовать LLM в ситуациях, когда может быть задействовано много чувствительных данных и как при этом не допустить утечек, успокоить службу безопасности, релизнуть сервис и не разориться на железках. Слушатели получат ответы на вопросы: как эффективно использовать LLM, чтобы не обучать провайдера, не нарушать законы, не привлекать регуляторов и дружить со службой безопасности; что делать, если мы хотим крутить нейронки у себя (on-premise)? Как «манипулировать» данными с целью устранения чувствительности, но сохранения сути? Как сшить пайплайны под задачу, балансируя между приватностью и мощностью? Как создать «шоры» для LLM, чтобы не отдать управление пользователям?

Новая модель данных позволяет сделать гибкое окно атрибуции, связать медийные показы с целями Метрики и событиями AppMetrica, добавить новые параметры и метрики качества трафика.

Превращаем цепочку аналитических действий в автоматизированный процесс: формирование запросов, анализ динамики и использование результатов для проверки продуктовых и маркетинговых гипотез. Как устроен многошаговый поисковый агент, который формирует запросы, изучает результаты, возвращается к поиску и собирает информацию из множества источников и как превратить типичный competitive research из ручного процесса в повторяемый агентский ресёрч.

Качество клиентского сервиса — это управляемый экономический параметр, а не просто набор операционных SLA. В Т-Банке провели масштабный A/B-тест, отказавшись от единого стандарта поддержки: для разных сегментов применили режимы жесткой экономии (ECO, −30% костов) и премиального саппорта (CX+, +70% костов). Эксперимент доказал, что инвестиции в качество окупаются далеко за пределами контакт-центра: режим CX+ статистически значимо растит NPV, повышает утилизацию продуктов и даже снижает долю просрочек по кредитам. Разберем механику оценки через прокси-метрики LTV и покажем, как дифференцировать сервис, чтобы безопасно резать косты и максимизировать совокупную прибыль

Риски современных законов о защите персональных данных (GDPR, 152 ФЗ, CCPA, PDPA, PDPL, DPDPA) в контексте использования внешних AI моделей. Насколько легально слать во внешние API AI сервисов персональные данные? Насколько реально защититься от рисков за счет обфускации отправляемых данных? Разбираем риски, возможности, и надежность такой защиты

Пошаговая инструкция по сборке Bayesian MMM для «флайтовых» размещений и чеклистом диагностики модели. Разбор работы с эффектом затухания памяти о рекламе (adstock) и убывающей отдачей от вложений (saturation)

Система AI-агентов вокруг A/B-платформы и измерение её надёжности через benchmark на основе mutation testing: вносим контролируемые дефекты в кейсы с известным ответом и считаем mutation score, false positive rate и порог обнаружения. На этом полигоне сравниваем модели и архитектуры и определяем границы допуска где агентам уже можно доверять

Имитационная модель системной динамики, откалиброванная под фактические бизнес-метрики, отвечающая на вопрос что будет с метриками если варьировать параметры бизнеса.

Участники пройдут цикл от разметки действий пользователя, до формирования продуктовых гипотез и запуска АБ-теста на реальном ecom-клиенте платформы uxrocket.ru Участники также выполнят пост-анализ и научатся формировать гипотезы, которые в 3 раза чаще приводят к росту.

Обсуждаем идентифицируемость, смещение и принятие решений в условиях неопределенности. Байесовская нелинейная эконометрика позволяет оценить причинно следственные связи и составление модели будет в теме нашего разговора: как составить модель таким образом, чтобы они действительно была не только интерпретируемой, но и идентифицируемой, как параметризовать модель, чтобы при оценке она не развалилась, а смещение было побеждено, как принимать решения в условиях неопределенности и чем нам поможет теория стохастической оптимизации.

Рабочая связка open-source инструментов для агентского кодинга. Методология разработки OpenSpec и OpenSpec+. Превращаем хаотичную генерацию в предсказуемый и контролируемый инженерный процесс.

Разделить селлеров на группы А и Б в нашем случае нельзя: это означало бы предоставление разным селлерам разных условий продвижения. Поэтому провести классический A/B-тест невозможно. Решением становится синтетический контроль: он позволяет оценивать эффект изменений без прямого разделения селлеров на тестовую и контрольную группы

Запретить ChatGPT проще, чем научиться с ним безопасно работать. Главный ИБ-евангелист Positive Technologies Алексей Лукацкий рассказывает, как российские компании выстраивают секьюрную работу с западными LLM. В рамках лекции разберем методы анонимизации данных, архитектуру AI-firewalls и главное — как продуктовому аналитику научиться договариваться с отделом кибербезопасности, чтобы любимая фраза «ИБ это не пропустит» стала началом продуктивного диалога, а не крестом на внедрении ИИ.

Когда утилизация на пике, вы не можете показать бизнесу кратный рост, а партнерам — дать нужные объёмы за счёт свободного трафика. Делимся методологией расчета утилизации, подходами к медиапланированию и способами охлаждения трафика.

Перенос работы из ручных передач и однотипной разработки в конфигурацию, генераторы и инструменты платформы. Это сокращает путь от описания источника до появления данных в платформе и позволяет масштабировать подключение типовых источников без пропорционального роста ручной работы.

Как глубокий анализ аудитории А/В-теста помогает находить неожиданные эффекты экспериментов, принимать более точные продуктовые решения, а также улучшать качество и точность рекомендаций.

Превращаем AI из генератора кода в управляемого исполнителя, способного провести задачу от размытого бизнес-вопроса до проверяемого результата.

Метрика, на которую бизнес хочет повлиять и метрика, на которую бизнес может повлиять произвольным воздействием - обычно разные метрики. Разбираем, как построить здоровое итерирование по продуктовым гипотезам с помощью графа метрик. Слушатели узнают, как извлечь больше информации из совокупности экспериментов - что дополнительно можно узнать о пользователях, если посмотреть на всю совокупность экспериментов, а также то, как измерять и декомпозировать эффект набора маркетинговых изменений на бизнес-метрику, когда ни один эксперимент в отдельности не даёт ответа.

Решение задачи устранения хаоса в данных компании и создание корпоративного графа знаний Последовательность перехода от исправления конкретной аналитической проблемы к общему контексту для AI-инструментов. Доклад поможет оценить, какие знания нужно формализовать в своей компании, как проверять их качество и с какого рабочего процесса начинать внедрение.

Специфика тестирования AI-копайлотов и других внутренних продуктов и процессов компании, чтобы точно ответить на вопрос «изменил ли новый инструмент работу сотрудников достаточно сильно, чтобы его было выгодно масштабировать».

Внедрение ИИ не защищает от утечек, если ради скорости пользователь копирует в промпт всю коммерческую тайну и выдает приложению доступ ко всему диску. В докладе разбирается архитектура ограничения доступа ИИ-сервисов к корпоративным данным и два механизма уязвимостей: открытые логи провайдеров и передача скрытых инструкций в активные сессии. Спикеры покажут, как выстроить «зеленый коридор» для типовых задач, внедрить паспорта ИИ-решений и тестировать безопасность через симуляцию рабочих процессов.

Схема встраивания ИИ-агента в пайплайн обработки запросов с автоматическим контролем качества и важными точками проверки человеком. Разбираем архитектуру решения, логику автоматических тестов качества данных, типичные ошибки и эксплуатационные ограничения агента

Мы встроили в работу разговорного ИИ-помощника: сотрудник спрашивает о продажах обычными словами, текстом или голосом, и получает график или численный ответ. Права доступа наследуются из BI, ответ сверяется кодом, рядом с цифрой — её «паспорт» (период, фильтры, источник). На пойманном промахе модели покажу, как работает проверка, расскажу, что мы измеряем на пилоте и где бот ошибся. А дальше — о переходе к AI-native-аналитике: руководители сами работают с данными, их вопросы копятся в базу знаний, словарь метрик поддерживает бизнес, а аналитик становится архитектором системы, которая приносит гипотезы

Целостная модель интерференции (искажение результата из-за пересечения экспериментов) и оригинальный критерий оценки влияния одного эксперимента на другой и внутренний инструмент для оперативной проверки от команды ASL, развивающей внутреннюю АБ платформу Т-Банка.

Сборка агентских систем, выдающих результат стабильного качества. Инженерный разбор компонент и паттерны архитектуры ИИ-решений.

Подключить LLM к базе — ещё не аналитика: агент не знает, откуда пришли данные, кто имеет к ним доступ и как посчитана метрика. Рассказываем, как встраивали ИИ в каждый шаг аналитического цикла (загрузку, SQL, оркестрацию, каталог, дашборды) и какой контекст ему для этого понадобился: автоматически собранные метаданные, lineage, права на уровне платформы. Разберём, где агент уже заменяет ручную работу, где ошибается и как проверить его ответ вплоть до исходной таблицы. Опыт DataLens Platform, самого крупного обновления DataLens: AI-first платформы, где к привычным дашбордам добавились lakehouse, оркестрация и каталог данных в едином интерфейсе

Тональность отзыва, тема обращения, категория товара — ещё недавно всё это размечали вручную, теперь же — размечают языковые модели. Вместе с этим изменился статус чисел, которые на такой разметке считают. Метрика в дашборде и целевая метрика эксперимента больше не наблюдаются – они предсказываются. Можно ли считать статистику по метрике, которую проставила модель, и что с этой статистикой не так?

Теория игр для аналитиков. В своей лекции, посвящённой теории игр, Алексей Савватеев доступно расскажет о концепции равновесия по Нэшу в теории игр и продемонстрирует на ряде примеров, как взаимодействие эгоистичных участников может приводить к общему проигрышу. Парадокс Брайеса, дилемма заключённых, трагедия общин — во всех этих ситуациях равновесная логика не гарантирует удовлетворительного результата с точки зрения глобальной пользы обществу. Особое внимание будет уделено тому, как изменение правил игр меняет поведениелюдей, что необходимо учитывать при конструировании мотивационных схем. Специальная математическая подготовка не потребуется,но готовность рассуждать пригодится.

Участники мастер-класс узнают о комплексном подходе к обеспечению базовых принципов информационной безопасности собственных продуктов. Будут рассмотрены в том числе автосканирование по публичным базам уязвимостей, собственные «зеркала» с уже проверенными пакетами и другие инструменты. Слушатели получат чек-лист критически важных моментов, на которые необходимо обращать внимание при разработке продуктов агентами. Мастер-класс сопровождается большим набором кейсов и примеров.

Как наш мозг создал знания и как на него влияет искусственная информационная среда, когда AI меняет культурную среду быстрее, чем биологию человека.