[karpov.courses] Симулятор A/B тестов, продвинутая практика (Александр Сахнов, Валерий Бабушкин)

​

Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.

В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.

Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.

Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.

Для кого этот курс:

1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.

2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.

Как проходит обучение:

1. Решайте настоящие задачи бизнеса

• Пройдите путь начинающего аналитика
• Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
• Получайте обратную связь от практикующих специалистов

2. Работайте с реальной инфраструктурой

• Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
• Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
• Разрабатывайте дизайн экспериментов и анализируйте результаты

Чему Вы научитесь:

1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно

Какие задачи будем решать:

1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.

2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.

3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.

4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...