Планирование опыта
Описать гипотезу, варианты и показатель до начала теста.
Проведение A/B-тестов
Узнайте, как подготовить эксперимент, сравнить варианты и проверить, достаточно ли оснований для вывода.
В чём состоит навык
Проведение A/B-теста — организация сравнения вариантов на группах участников с заранее выбранными показателями. Результат зависит от распределения участников, качества данных и условий эксперимента.
Где пригодится
Контроль распределения
Проверить, что участники получают нужные варианты и данные записываются.
Анализ результата
Сравнить показатели групп и разобрать ограничения наблюдений.
Подготовка и связанные навыки
До запуска сформулируйте проверяемое изменение и основной показатель. Определите, кого включать в эксперимент и как будут собираться данные.
Связанные навыки
Курсы для развития навыка «Проведение A/B-тестов»
Яндекс ПрактикумОсновы статистики и A/B-тестирования
Бесплатный курс Яндекс Практикума знакомит с описательной статистикой, проверкой гипотез и A/B-тестами. В разных блоках школы указаны 10–15 и около 16 часов обучения.
Бесплатно
Стоимость курса
ProductStarВведение в продуктовую аналитику
Мини-курс ProductStar о продуктовой аналитике: метрики, unit-экономика, когорты и A/B-тесты для оценки и развития продукта.
19 900 ₽
При оплате частями
1 990 ₽ / мес. · 10 мес.
ProductStarUnit-экономика и управление финансами для менеджера
Мини-курс ProductStar о unit-экономике и бюджетах продукта: метрики, A/B-тестирование, когортный анализ и финансовые модели для управленческих решений.
14 990 ₽
При оплате частями
1 499 ₽ / мес. · 10 мес.
ProductStarA/B-тестирование
Мини-курс ProductStar для продакт-менеджеров, аналитиков и маркетологов: проверка гипотез, статистическая оценка и проведение A/B-тестов в Яндекс.Метрике.
14 990 ₽
При оплате частями
1 499 ₽ / мес. · 10 мес.
Что важно знать о навыке «Проведение A/B-тестов»
A/B-тест сравнивает варианты изменения на разных группах участников. Перед запуском определяют гипотезу, проверяемое изменение и показатель, по которому будут оценивать результат. Группы должны формироваться по предусмотренному правилу, а участники — получать соответствующий вариант в течение эксперимента.
Так можно проверить изменение интерфейса или другого цифрового продукта, если данных и участников достаточно для выбранного дизайна. Помимо основного показателя важно отслеживать корректность сбора событий и соотношение размеров групп. Разница между наблюдаемыми значениями может возникнуть случайно и сама по себе не доказывает действие изменения.
Для учебного примера полезно заранее описать план анализа, затем проверить качество данных и сравнить результаты с учётом неопределённости. При интерпретации нужно помнить о сроке теста, составе участников и других изменениях во время эксперимента. Решение о запуске варианта также зависит от его стоимости и возможных побочных эффектов.