A/B-тестирование — что это такое и как его проводить?
A/B-тестирование или сплит-тестирование — один из самых известных маркетинговых инструментов, регулярно использующийся не только в онлайн-маркетинге, но и в классическом его варианте. С помощью такого теста можно получить представление о том, как те или иные изменения в дизайне или рекламном посыле влияют на конверсию.
Что такое A/B-тест?
Существует множество интерпретаций этого термина. Предлагаю ознакомиться с максимально упрощенным.
A/B-тест — маркетинговое исследование, при котором двум репрезентативным группам показывают два варианта (каждой группе свой) реализации чего-либо для выявления наиболее подходящего для достижения определенной цели версии.
Если привести в пример сплит-тест страницы «корзины» интернет-магазина, то одной группе демонстрируется старая версия (если таковая имеется), а второй группе — страница с некоторыми изменениями.
После чего замеряются целевые метрики (количество брошенных корзин, средний чек, выбор варианта оплаты и прочее) и формируется вывод о степени успешности новой версии.
В случае нового ресурса тестируются две новые версии.
Многовариативное тестирование
Один из видов A/B-тестирования, при котором сравниваются варианты сочетания элементов. Возвращаясь к примеру страницы «корзины» интернет-магазина, могут быть вариации с расположением блоков доставки, выбора способа оплаты или визуализации товара в «корзине».
В этом случае каждый элемент, являющийся предметом тестирования, может быть двух видов.
Основной целью и в первом, и втором случае является выбор максимально эффективного, с точки зрения целевого действия или метрики, варианта. Чаще всего это повышение конверсии, улучшение поведенческих факторов или рост финансовых показателей (например, средний чек). Подробнее об этом позже.
Зачем нужны А/B-тесты?
Основная причина — это субъективное мнение. Дело в том, что человеку свойственно считать свой вкус и свое мнение неким эталоном, идентичным для большинства. И владельцы бизнеса, «знающие» свою аудиторию, и маркетологи могут сильно заблуждаться. То, что нравится малой группе людей, может не понравиться большинству.
Правильно проведенный A/B-тест позволяет понять, как отнесется к нововведению именно та аудитория, для которой изменения предназначаются.
Нередко гипотезы, выработанные в ходе «мозгового штурма» или лично, оказываются неэффективны в реальной работе. Это может произойти по множеству причин, но, тем не менее, реализация этих гипотез все равно вредит бизнесу.
Иначе говоря, ваши интуитивные решения необходимо сначала подтверждать на практике на меньшей группе, а уже потом, в случае успеха, вводить новшества для всех.
Как правильно проводить сплит-тестирование?
Случайным образом пользователи сайта делятся на две группы. Одному сегменту демонстрируют текущую версию, второму версию с изменениями.
Я рекомендую придерживаться правил для того, чтобы снизить влияние внешних и внутренних факторов на результаты исследования:
- одновременное проведение тестирования — нельзя сначала протестировать один вариант, а потом другой, и сравнивать их между собой. Напомню, что время проведения сплит-теста должно быть значимым. Проведение кратковременного исследования может исказить неизвестный фактор;
- фильтрация результатов сотрудников — работники, при их большом количестве, могут исказить общую картину.
- репрезентативность выборки — количество пользователей в каждой группе должно быть достаточно для того, чтобы минимизировать влияние случайных действий из-за закона малых чисел.
Внешние факторы:
- рекламные кампании;
- сезонность;
- день недели;
- погода;
- время суток;
- активность конкурентов;
- новостной фон;
- прочее.
Исходя из этого списка можно сделать вывод, что сэкономить время и тестировать без участия «контрольной» группы не получится. Собранные ранее данные могут не отражать в полной мере текущее положение дел.
Внутренние факторы
- менеджеры по продажам;
- сотрудники call-центра;
- служба технической поддержки;
- разработчики;
- маркетологи;
- прочее.
Трафик таких пользователей не должен учитываться при анализе результатов.
Репрезентативность выборки
Достаточное количество пользователей двух версий необходимо для получения достоверных результатов. В случае если пользователей недостаточно, следует увеличить продолжительность тестирования.
Также следует внимательно отнестись к тому, что группы не должны пересекаться. Если пользователь видел один вариант, то при обновлении страницы он не должен увидеть другой. Это реализуется с помощью IP-адреса или cookies сохраненном на компьютере пользователя.
Какие результаты ждут от сплит-тестов?
В первую очередь нужно исключить вероятность того, что данные случайны, а разница между результатами варианта A и B является статистически значимой. Не следует вносить изменения, если отсутствует уверенность в их позитивном влиянии.
Как уже говорилось выше, основных целей, которые преследуются при этом виде исследования, не так много. Разумеется, многое зависит от направленности самого проекта. Продажи или регистрации, платные подписки или клики по ссылке.
Отмечу, что часто оцениваются несколько показателей, скомбинированных из представленных ниже.
Поведенческие факторы
Проще говоря, это то, как меняется взаимодействие пользователя с сайтом без учета совершения целевых действий. Основные поведенческие факторы, оцениваемые чаще всего:
- глубина просмотра — среднее число просмотренных страниц;
- время на сайте — среднее время, проведенное на сайте за сессию;
- показатель отказов — количество пользователей, покинувших сайт сразу после перехода на него. Считается в процентном соотношении;
- повторные сессии — количество вернувшихся пользователей за время проведения тестирования.
Экономические метрики
Разумеется эти метрики справедливы только для коммерческих проектов и проектов, связанных с финансами (например, там, где есть пожертвования или донаты).
Чаще всего оцениваются следующие показатели:
- средний чек;
- количество продаж конкретной группы товаров или услуг;
- перераспределение способов оплаты.
Конверсия
В отличие от предыдущего пункта можно применять не только в коммерческих проектах. Анализируют процентное соотношение ко всем увидевшим конкретный вариант страницы. Конверсия может быть в виде:
- клик на ссылку или рекламный блок;
- регистрация на сайте или в акции;
- сбор подписей;
- оформление подписки;
- заполнение формы;
- использование инструмента;
- совершение покупки.
Какие инструменты использовать для А/B-тестов?
Для простых тестов в большинстве случаев вам подойдет раздел Google Marketing Platform, а именно Google Optimize. С помощью этого инструмента вы сможете провести и A/B-тестирование и многовариантное тестирование.
Таргетирование групп можно настроить по следующим параметрам:
- JavaScript;
- файлы cookie;
- геотаргетинг;
- URL;
- браузер;
- операционная система;
- вид устройства (мобильное или десктоп).
Если у вас стоит задача более точного таргетирования, то придется использовать другое готовое решение или создать свое.
Сколько пользователей должно участвовать в тесте?
Отдельным вопросом встает тема выбора необходимого числа пользователей для принятия решения об окончании проведения сплит-теста. Но поверьте эта тема настолько объемна, что заслуживает отдельной статьи.
Расчет зависит не только от направленности сайта, но и от вносимых изменений, и от анализируемых метрик.
Могу сказать, что «чем больше, тем лучше» подойдет в подавляющем количестве случаев.
Что в итоге?
При условии правильного подхода проведение А/B-тестов принесет ощутимый результат, но в неумелых руках результат становится непредсказуемым. Как и при любом виде работ вы четко должны понимать, что и для чего делаете.
Не стоит рассчитывать на то, что вам повезет — и без четкого плана вы добьетесь положительного результата.
Структура, в общих чертах, выглядит следующим образом:
- формирование гипотез;
- разработка изменений;
- настройка инструментов тестирования;
- определение сроков проведения тестирования;
- проведение A/B-теста;
- анализ результатов тестирования;
- внесение изменений (при удовлетворительных результатах новой версии).
Также, по началу не рекомендую тестировать значительные изменения, так вам проще будет анализировать результат.
