А/В тестирование: определение, как правильно проводить, сервисы для настройки теста

Что такое А/В-тестирование. Что можно тестировать с помощью А/В-тестов. Зачем нужны А/В-тесты. Кому нужны А/В-тесты. Какие задачи бизнеса решают A/B-тесты. 6 этапов проведения А/В-тестирования. Инструменты для настройки тестов. Плюсы и минусы А/В-тестирования в Google Optimize. Как провести A/B-тестирование с помощью Google Optimize. Идеи, эффективность которых стоит обязательно проверить с помощью A/В-тестирования. Сколько времени займет А/В-тестирование. Частые ошибки А/В-тестирования. Другие виды тестирования А/В тестирование: определение, как правильно проводить, сервисы для настройки теста
Время чтения: 16 минут
Отправим материал вам на:

А/В-тестирование – это своего рода эксперимент, позволяющий проверить две гипотезы, точнее сравнить их и выбрать лучший вариант. Таким образом можно тестировать в Интернете все что угодно: сайт, отдельную его страницу, текст и даже фото товара. Есть специальные инструменты, с помощью которых легко и просто провести эксперимент.

Но перед его началом рекомендуем определиться для себя, зачем вам А/В-тестирование и сколько времени вы готовы на него потратить. Учтите, тесты за день не проводятся, некоторые занимают полгода, если товар дорогой. Решив основные вопросы, можно приступать к тестированию. Как все сделать правильно, а потом интерпретировать полученные результаты, мы подробно расписали ниже.

Что такое А/В-тестирование

Что такое А/В-тестирование

Простейшие АВ-тесты имеют в своей основе схему, состоящую из трех элементов:

  • аудитория;
  • исходная и экспериментальная страницы;
  • магия.

Допустим, у компании есть лендинг по производству и продаже дверей по индивидуальным заказам, трафик на который поступает благодаря контекстной рекламе. Маркетологи выяснили, что в данный момент актуальны кнопки необычной формы для сайтов – они способствуют увеличению конверсии и росту продаж в отличие от традиционных прямоугольных.

Однако прежде чем использовать этот прием, необходимо опытным путем выяснить, действительно ли он так эффективен, как говорят. То есть нужно изменить форму кнопки на сайте и посмотреть на реакцию аудитории. Если измененный лендинг даст хорошие результаты, можно будет использовать такую кнопку на постоянной основе.

Вести анализ можно, учитывая как всю аудиторию, так и какую-то ее часть. Второй вариант оптимален, так как как в случае получения отрицательного результата компания в меньшей степени пострадает финансово, то есть не потеряет большое количество заказов. Лучше всего тестировать новинки на 5 – 10 % аудитории.

В этом случае нужно создать вторую версию лендинга с кнопками другой формы и отправить туда 5 – 10 % трафика с контекстной рекламы. Люди смогут опробовать обновленный вариант сайта, а компания получит данные о его работе, не понеся убытки.

На последнем этапе осуществляется анализ поведения пользователей и в зависимости от результатов принимается решение о дальнейшем использовании нововведений.

Простой пример. До внедрения новой кнопки конверсия составляла 4 – 6 %, а на экспериментальной странице она увеличилась до 12 %, соответственно, можно сделать вывод об эффективности замены кнопки и использовать ее постоянно. Для этого рекламный трафик перенаправляют на новую страницу полностью.

Система аналитики выбирается в зависимости от ключевой метрики. В нашем примере с лендингом по дверям возможно использование Яндекс.Метрики (нужно сказать, что это достаточно универсальный инструмент, который может применяться в различных тестированиях).

Итак, A/B-тестирование (сплит-тестирование) представляет собой сравнительный анализ разных версий сайта, приложения и т. п., оценку изменения ключевых метрик с помощью группы пользователей и принятие итогового решения о внесении изменений.

Что можно тестировать с помощью А/В-тестов

Сплит-тестирование является прикладным методом воздействия на разные метрики сайта. Маркетологи выбирают объекты изучения в соответствие со своими целями и задачами.

Сплит-тестирование

Допустим, нужно понять, почему аудитория практически мгновенно покидает сайт, после того как оказывается на лендинге. Вероятно, это связано с проблемами в визуале страницы. Запустив A/B-тестирование, специалист может выяснить, какой вариант ее макета будет рабочим, определить оптимальное сочетание цветов, выбрать шрифты, привлекающие внимание картинки, правильное расположение блоков текста.

Если необходимо увеличить количество подписок, можно внести изменения в форму конверсии. Благодаря сплит-тестированию можно подобрать нужный цвет детали интерфейса, оптимальный вариант текста, правильное количество полей в форме подписки, а также ее расположение.

Чаще всего исследованию подвергаются следующие элементы веб-страниц:

  • текст, формат и расположение конверсионных кнопок;
  • заголовок и описание продукта;
  • размеры, внешний вид и расположение конверсионных форм;
  • макет и дизайн страницы;
  • цена товара и другие элементы бизнес-предложения;
  • изображения продукции и иные картинки;
  • количество текста на странице.

Зачем нужны А/В-тесты

Какие основные проблемы помогает решить сплит-тестирование:

  1. Реакция аудитории на изменения. Компания начинает понимать, как информация (визуальная, текстовая) воспринимается пользователями, какие ее варианты лучше влияют на потенциальных покупателей. А значит, появляется возможность использовать именно то, что нравится целевой аудитории и может подтолкнуть ее к покупке. Независимо от опыта специалиста он должен всегда подвергать сомнению свои методы и приемы работы и тестировать их различные варианты. Порой результаты экспериментов оказываются впечатляющими.
  2. Нередко предположения маркетолога не совпадают с реальностью. Поэтому важно основываться не только на собственном опыте и знаниях, но и на данных, полученных в ходе тестов.

  3. Данные тестов против мнения экспертов. Зачастую специалисты вносят коррективы в работу сайта, основываясь исключительно на собственных гипотезах. Однако насколько оправданны такие изменения можно судить только тогда, когда получены точные данные о поведении аудитории. Иначе компания, внедрившая новшества наугад, может лишиться части прибыли, понести убытки.

    Зачем нужны А/В-тесты

  4. Персонализация взаимодействия с клиентами. Специалисты компании понимают, как лучше коммуницировать с людьми, которые приходят на сайт из разных источников, пользуясь разными устройствами, преследуя свои личные цели.

С помощью сервисов веб-аналитики, таких как Google Analytics, Яндекс.Метрика и пр., можно объединить эти данные и систематизировать знания о пользователях. Для этого нужно собрать информацию о ресурсах, которые они посещали, узнать, что там делали. Благодаря этому аудитория может быть разделена на множество сегментов по целому ряду признаков. Кроме того, можно выяснить, как ведут себя пользователи, которые пришли на сайт органически и с платного трафика.

Однако не каждый способен использовать результаты анализа наилучшим образом. Например, на большинстве сайтов можно встретить одинаковый контент для пользователей всех сегментов, независимо от их целей, интересов, поведения и источников трафика. Для этого и нужно сплит-тестирование. Оно помогает персонализировать содержание сайта.

Кому нужны А/В-тесты

Кому нужны А/В-тесты

  • Продакт-менеджеры. Они используют тесты для анализа различных ценовых моделей, чтобы понять, какая из них приведет к росту доходов, или оптимизировать часть воронки продаж с целью увеличения конверсии.
  • Маркетологи. Эти специалисты занимаются тестированием изображений, призывов к действию (call-to-action) и многих других элементов маркетинговой кампании или рекламы с целью улучшения метрик.
  • Дизайнеры продуктов. Они исследуют визуальную составляющую элементов сайтов, приложений и т. п. (например, цвет кнопки оформления заказа). Кроме того, эти специалисты могут использовать результаты A/B-тестирования, чтобы понять, будет ли удобна новая функция пользователям.

Запускать процесс стоит только тогда, когда имеется приличный трафик, а значит, и статистические данные.

Допустим, компания сделала лендинг по продаже дверей и запустила контекстную рекламу, вложив в нее небольшую сумму. Посетителей на сайте пока немного. В этой ситуации метрики имеют низкую чувствительность, данных собирается мало, и тесты могут не показать реальную картину.

Если же тестирование все-таки запущено, имеет смысл проводить его несколько месяцев. Однако суть метода совсем в другом, а именно в быстром сборе данных, которые позволят принять решение по срочным изменениям и нововведениям.

Какие задачи бизнеса решают A/B-тесты

Если вовлеченность пользователей низкая, проведение A/B-тестирования поможет проанализировать работу на всех ее этапах, внести коррективы и в итоге улучшить показатели конверсии. Чем именно полезны тесты?

  • Решают проблемы пользователей.

Заходя на сайт, пользователи хотят видеть красивую картинку, удобный функционал, интуитивно понятный интерфейс, информативные тексты. Они упрощают поиск нужных товаров и экономят время. Если всего этого нет, посетители не будут мириться с неудобствами, так как в условиях изобилия предложений это никому неинтересно.

A/B-тестирование помогает определить проблемные места сайта, скорректировать их, устранить недочеты и сделать его привлекательным для потенциальных клиентов.

Решение проблем пользователя

  • Обеспечивают лучшую окупаемость инвестиций (ROI).

Тестирование дает возможность повысить эффективность использования активных каналов привлечения аудитории без привлечения дополнительных средств. Внесение даже малых изменений способствует улучшению показателей конверсии.

  • Уменьшают количество отказов.

Отказы пользователей снижают прибыль компании. Люди не задерживаются на сайтах по разным причинам: плохое юзабилити, скудный ассортимент, высокие цены и т. д. Протестировав разные элементы на странице, компания может понять, что именно не устраивает аудиторию, и исправить эти моменты.

  • Снижают риски при изменениях.

Внедрение новых элементов на сайт, внесение изменений в его работу должно производиться постепенно, так как стремительность может привести к непрогнозируемым негативным последствиям. Пользователи не всегда воспринимают новое в положительном ключе. A/B-тестирование сайта позволяет проверить реакцию аудитории и использовать только те нововведения, которые приносят нужные результаты.

Кроме того, такие методы исследования дают возможность сделать сайт более функциональным без существенных правок, например, за счет добавления ряда новых функций, изменения описания продуктов и отслеживания реакции пользователей на эти действия. Если она положительная, изменения можно утвердить.

  • Обеспечивают статистически значимые улучшения.

В процессе тестирования внимание уделяется данным статистики, анализ которых и сообщает специалистам об успехе или неудаче нововведений. Изучаются следующие метрики:

— длительность пребывания пользователя на странице;

— количество отказов;

— CTR – показатель числа кликов по отношению к общему числу показов объявления;

— число заполненных форм для заявок.

Тесты демонстрируют, что нужно делать, чтобы статистика стала положительной.

  • Помогают улучшить дизайн.

Плохо сделанный сайт может свести на нет все усилия рекламщиков и маркетологов по привлечению клиентов. Чтобы минимизировать отказы пользователей, нужно либо внести незначительные правки в дизайн страниц (усилить функционал, изменить цветовое решение и т. п.), или провести его масштабную реконструкцию. Тестирование даст возможность предсказать реакцию посетителей сайта на эти действия.

Улучшить дизайн сайта

Существует несколько основных категорий показателей, которые можно оптимизировать путем проведения A/B-тестирования:

  1. Конверсия.
  2. Улучшив сайт, можно повысить процент конверсии. На удобном и информативном ресурсе пользователи совершают больше целевых действий, запланированных компанией (подписка на обновления, регистрация, добавление товаров в корзину и т. д.). Конверсия в звонок отслеживается коллтрекингом.

  3. Финансовые показатели.
  4. Главная цель любой компании – получение дохода. Практически все действия по оптимизации работы в конечном итоге направлены на рост финансовых показателей. Красивый, удобный и информативный сайт поможет удержать трафик, обеспечит конверсию и рост продаж. Основными финансовыми показателями являются величина среднего чека, ежемесячный объём продаж, стоимость привлечения клиента (CAC).

    Полезно также устанавливать на страницу специфические дополнения, которые связаны с покупками. Это могут быть suggestive-алгоритмы, предлагающие пользователю товары, которые другие покупатели особенно часто кладут в свои корзины вместе с выбранным им.

  5. Поведенческие факторы.
  6. Это набор характеристик, отражающих то, как пользователь ведет себя на сайте: время пребывания на нем, глубина просмотра (количество посещенных страниц), процент постоянных посетителей, доля отказов (bounce rate), объем CTR сниппета в поисковой выдаче и т. п.

6 этапов проведения А/В-тестирования

Как проводить A/B-тестирование? Процесс включает шесть шагов. Рассмотрим его на примере тестирования страницы регистрации гипотетически существующего стартапа.

1) Определение цели

Цель А/В-тестирования

Важно, чтобы цели бизнеса и тестирования совпадали.

Пример. Компания только начала свою деятельность и нуждается в приросте посетителей, причем важно, чтобы это были активные пользователи (с ними связана метрика DAU). Многие думают, что этого можно добиться двумя способами: улучшением показателей удержания (процент возвращающихся для повторного использования продукта) или за счет роста количества новых зарегистрировавшихся людей.

Но анализируя воронку можно отметить, что более половины пользователей покидают сайт еще до завершения регистрации. Это указывает на то, что увеличить число регистраций можно путем изменения самой страницы регистрации. Такое действ ие должно привести к росту активных посетителей.

2) Определение метрики

Следующий шаг – выделение метрики, которая послужит ориентиром при определении успешности нововведений во время тестирования. Чаще всего специалисты используют в качестве нее коэффициент конверсии, хотя оценкой может выступать и кликабельность (CTR).

В случае с нашей компанией главным показателем будет доля зарегистрированных пользователей (registration rate), определяемая как количество новых регистрирующихся посетителей, поделенное на общее количество впервые зашедших на сайт.

3) Разработка гипотезы

Процесс A/B-тестирования включает создание предположения о том, что должно быть изменено, и что нужно проверить, чтобы выявить динамику. Необходимо определить желаемое в итоге компанией и какие могут быть обоснования у результатов работы.

Пример.

Анализируя страницу регистрации, которую нужно изменить, специалист видит на ней баннер и форму регистрации. Протестировать можно разные элементы, однако в первую очередь это должен быть рекламный модуль, так как он более заметен. Следует изменить изображение на нем и посмотреть, как это отразится на регистрации пользователей. Затем наступает черед тестирования полей формы, позиционирования, размера текста.

Общая гипотеза такова: «Замена модулей главной страницы регистрации, а именно основного изображения, приведет к увеличению количества новых пользователей, которые будут регистрироваться внутри продукта».

Затем следует выделить две гипотезы, которые помогут понять, является ли происходящее на странице результатом внесенных в ее работу изменений. То есть не случайна ли разница между ее версиями A (основной) и B (новой, которая тестируется).

  • Нулевая гипотеза предполагает, что результаты версий А и В не сильно отличаются, а все различия случайны. Эту гипотезу нужно опровергнуть.
  • Альтернативная гипотеза заключается в том, что А отличается от Б, и необходимо сделать вывод об её истинности.

Специалист должен решить, будет тест односторонним или двусторонним. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест – по двум направлениям (как положительное, так и отрицательное).

4) Подготовка эксперимента

Зксперимент А/В-тестирования

Для корректного проведения теста и получения правильных результатов нужно совершить ряд действий:

  • Создать новую версию (B) с изменениями, которые требуется протестировать.
  • Определить контрольную и экспериментальную группы: какие категории пользователей будут тестироваться – все и на всех платформах или только жители одной страны? Нужно подразделить людей на две группы (1 и 2) в зависимости от их типа, используемой платформы, локации и т. п. Далее необходимо определить количество человек в каждой из них в процентном соотношении к общему числу участвующих в выборке, но в чаще контрольная и экспериментальная группы делаются одинаковыми.
  • Следует удостовериться, что посетители сайта будут видеть версии A и B в случайном порядке. То есть шансы попасть на ту или иную версию будут равны у всех пользователей.
  • Определить уровень статистической значимости (α). Это показатель риска, который будет принят при ошибках первого рода (отклонение нулевой гипотезы, если она верна). Обычно α = 0.05. То есть в 5 % случаев будет обнаружена разница между A и B, которая в реальности является не значимым и необъективным явлением. Чем ниже выбранный уровень значимости, тем ниже риск обнаружения случайной разницы.
  • Определить минимальный размер выборки. Это делается с помощью калькулятора для каждой версии. Он зависит от множества параметров и предпочтений компании. Большой размер выборки важен для получения результатов, которые будут иметь статистическую значимость (неслучайных).
  • Определить период тестирования. Для этого нужно разделить общий размер рассматриваемых случаев, необходимый для тестирования каждой версии, на ежедневный трафик компании. В результате получится количество дней, которое потребуется для проведения теста. В основном это одна или две недели.

Пример. На сайте компании меняется главная страница с регистрацией посетителей. Это будет вариант В. Специалист компании решает, что в тестировании примут участие только новые пользователи, которые заходят на страницу регистрации. При этом необходимо обеспечить случайную выборку, то есть каждый посетитель будет иметь одинаково неопределенные шансы зайти на вариант сайта А или В.

Также нужно ограничить время. Если страницу регистрации каждый день посещает примерно 10 000 новых пользователей, каждую ее версию увидит по 5 000 человек. В этом случае минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000 / 5000 = 20 дней — так определяется время A/B-тестирования.

5) Проведение эксперимента

Результаты А/В-тестирования

В ходе эксперимента нужно:

  • Обсудить его детали и параметры с исполнителями.
  • Выполнить запрос на тестовой закрытой площадке, если она имеется, чтобы проверить данные. Если площадка отсутствует, нужно проверить данные, полученные в первый день эксперимента.
  • Обязательно необходимо отследить, нормально ли идет тестирование после его запуска.
  • Важно не смотреть данные по эксперименту до его окончания, это может испортить статистическую значимость.

6) Анализ результатов

Необходимо получить данные и рассчитать значения выбранной метрики для версий A и B, а также разницу между этими значениями. Если разница не обнаружилась, можно сделать выборку по платформам, типам источников, локации и т. п. Благодаря этому можно увидеть, что новая версия более эффективна в определенных сегментах.

Затем проверяется статистическая значимость, цель которой – понять, была ли разница в результатах между A и B обусловлена изменениями или она стала результатом случайного стечения обстоятельств, естественно происходящих изменений. Для этого тестовые статистические данные (и полученное p-значение) сравниваются с избранным при подготовке эксперимента уровнем значимости.

Если p-значение меньше уровня значимости, нулевая гипотеза может быть опровергнута. Если же p-значение больше или равно уровню значимости, опровергнуть ее не получится.

Результаты A/B-тестирования могут быть такими:

  • Изначальная версия А имеет лучшие показатели либо между А и В нет существенной разницы. Это говорит о том, что нововведения оказались неэффективны. Однако для начала стоит исключить причины, которые могли привести к некорректному тестированию, исказившему результаты. Можно провести глубокий анализ данных, чтобы понять, почему новая версия не оправдала себя. Кстати, это поможет собрать информацию для более продуктивных тестов в будущем.
  • Экспериментальная версия B показывает значимо отличимые результаты. Соответственно, A/B-тестирование подтвердило гипотезу о большей эффективности версии B по сравнению с версией A. После публикации полученных показателей можно расширить аудиторию и провести масштабный эксперимент, чтобы получить новые данные.

Инструменты для настройки тестов

Инструменты для настройки тестов

Проведение эксперимента требует создания тестового варианта страницы, разделения пользователей на группы, подсчета целевых метрик для каждой из них. Если компания располагает ресурсами, можно делать все это вручную. Однако лучше пользоваться специальными сервисами, облегчающими A/B-тестирование.

Инструменты для его проведения и результаты их сравнения по нескольким параметрам представлены в таблице.


Google Optimize

Changeagain

VWO

Optimizely

Convert

ABtasty

Интеграция с Google Analytics

Х

Визуальный редактор

Цели Google Analytics

Х

Х

Х

Х

Таргетинг

Большое количество критериев для таргетинга

Таргетинг по устройствам, странам

Более 15 критериев

Более 15 критериев

Более 35 критериев

7 критериев

Наличие бесплатной или демоверсии

Бесплатная версия, до пяти тестов одновременно

Бесплатная версия для одного эксперимента на один сайт. Демоверсия 30 дней

Демоверсия 30 дней, но трафик ограничен: 1000 посетителей

Бесплатная версия для одного сайта и одного мобильного приложения. Функционал ограничен

Демоверсия 15 дней

Демоверсия 30 дней

Чаще всего для проведения экспериментов используют Google Optimize, поэтому рассмотрим особенности A/B-тестирования с помощью этого сервиса подробнее.

Плюсы и минусы А/В-тестирования в Google Optimize

Google Optimize

Optimize — это онлайн-сервис A/B-тестирования, подключающийся к сайту и позволяющий экспериментировать с новыми формами контента. Причем он умеет использовать данные, собранные в Google Analytics, чтобы предлагать пользователю наиболее подходящий ему вариант страницы – эффективный и результативный.

Плюсы Optimize:

  • Большой объем данных. Настраивая тестирование, можно использовать цели и сегменты из Google Analytics. Соответственно, работа будет вестись с привычными и удобными метриками из GA.
  • Широкие возможности для персонализации. Проведя успешный сплит-тест, можно настроить показ различного контента, используя аудитории GA и переменные, которые внедрены, например, в dataLayer в GTM. Персонализация – это один из ключей к эффективности сайта, увеличению его производительности в рамках каждого сегмента.
  • Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio,Tag Manager и т. д.).
  • Удобный и интуитивно понятный интерфейс. Имеется визуальный редактор, позволяющий осуществлять настройку и запуск новых тестирований без привлечения разработчиков, что значительно экономит время и средства.
  • Слабо отражается на скорости загрузки страницы.
  • Отсутствует необходимость ручного сведения данных и подготовки отчетов, сервис делает это самостоятельно.

Недостатки Optimize:

  • На данный момент он не позволяет тестировать мобильные приложения.
  • Нет расписания запуска сплит-тестирования, невозможно заранее запрограммировать его запуск. Допустим, компании требуется провести несколько десятков тестов, однако нет возможности сделать это одновременно. Или бесплатная версия ограничивает количество одновременных тестов. Или же нет желания проводить тестирование всех этих вариантов для одних и тех же пользователей. Тогда программа может быть не слишком удобна. Придется заходить в интерфейс каждый раз в момент запуска эксперимента. Но существуют сервисы, предоставляющие эти возможности.

Как провести A/B-тестирование с помощью Google Optimize

Настройка Google Optimize

Работает Google Optimize по тому же принципу, что и многие другие инструменты для тестирования.

  1. На первом этапе создаются тестовые варианты страниц или каких-то иных объектов.
  2. Затем определяются ключевые показатели, с помощью которых будет проводиться анализ данных и определяться победитель. Это могут быть метрики, которые уже встроены в Optimize, например, количество просмотров страниц, длительность сессии, транзакции, доход и показатель отказов. Кроме этого, можно выбрать любую кастомную цель из GA.
  3. Далее нужно понять, кто будет участвовать в тестировании, и начать его. Важно определиться с тем, какое количество потенциальных клиентов увидит экспериментальный вариант страницы. Это может быть половина аудитории или, допустим, 20 % от нее. Если компания не уверена в своей гипотезе, не стоит рисковать большим объемом трафика.

Optimize позволяет проводить не только стандартное A/B-тестирование, но и мультивариативные тесты (когда имеется несколько меняющихся элементов во множестве комбинаций), а также редирект тесты (для страниц с разным URL и дизайном).

Сервис от Google создает отчеты, которые позволяют отслеживать ход эксперимента и анализировать собранные данные сразу после его окончания.

Термины в отчетах Optimize:

  • improvement — вероятный диапазон для коэффициента конверсии (изменения);
  • probability to be best — возможность, что новый вариант лучше других;
  • probability to beat baseline — вероятность того, что экспериментальная версия обеспечит более высокий коэффициент конверсии по сравнению с оригиналом;
  • conversion Rate — прогнозируемый средний показатель изменения;
  • conversions — количество сессий с конверсиями.

Optimize использует для расчета вероятности Байесову статистику. Это значит, что в процессе тестирования пользователь сможет увидеть вероятность победы варианта B еще до его окончания. Если она достигла определенного уровня, эксперимент может быть завершен досрочно, что позволит сэкономить время и финансы.

Байесова статистика

Специалисты Google собираются реализовать в Optimize механизм, который даст возможность распределять трафик, чтобы большая его доля приходилась на лучший вариант до окончания эксперимента. Благодаря этому можно сделать тестирование менее затратным и более продуктивным.

Интеграция Optimize с аккаунтом Google Analytics позволяет просматривать и анализировать результаты тестирования в интерфейсе GA (меню «Поведение» — «Эксперименты»).

Идеи, эффективность которых стоит обязательно проверить с помощью A/В-тестирования

Специалисты, которые организуют тесты, должны испытывать нововведения, которые действительно имеют шансы на успех, а не просто придумывать любые гипотезы и пытаться их внедрить ради эксперимента. Допустим, ничем не обоснованная замена фона на главной странице сайта вряд ли приведет к улучшению ключевых показателей.

Проверка идей A/В-тестированием

Маркетолог должен понимать, как проводится A/B-тестирование. Методика его выполнения, помимо чисто технических моментов, включает поиск способов улучшения страниц. Важно не только их придумать, но и обосновать вероятную эффективность. Cплит-тестирование должно просто подтвердить, а иногда и опровергнуть предположения специалиста. Бывает и так, что маркетолог проверил все идеи, а нужного результата так и не получил.

В этом случае можно попробовать внедрить ряд изменений и провести проверку их эффективности:

  • Использование постоянно видимой формы конверсии, которая всегда будет оставаться в поле зрения пользователя, даже при прокрутке страницы. Ее можно поместить в верхней части экрана – так, например, сделано навигационное меню Facebook.
  • Удаление лишних полей из конверсионной формы. Не все пользователи имеют желание оставлять персональные данные на сайте.
  • Размещение видеоролика на посадочной странице. Такой ход может оказать позитивное влияние на некоторые показатели, например, уменьшит число отказов, повысит коэффициент конверсии и время пребывания на странице.
  • Увеличение срока бесплатного тестирования продукта компании пользователями (актуально для тех, кто продает ПО и веб-сервисы). Благодаря этому можно значительно увеличить конверсию.
  • Эксперименты с цветом кнопок конверсии. Например, ярко-красный может как привлекать внимание, так и вызывать раздражение. Чтобы выяснить, какова будет реакция пользователей на него, нужно создать A/B-тестирование и проверить гипотезу.
  • Предложение каких-то бонусов первым 10 или 100 покупателям (подписчикам). Интересно, что после завершения акции элемент интерфейса с описанием этой возможности, оставленный на сайте, может продолжить приносить свои плоды: пользователи будут все также реагировать на него, даже не рассчитывая войти в число счастливчиков.

Сколько времени займет А/В-тестирование

Длительность А/В-тестирования

Существует специальный калькулятор A/B-тестирования – калькулятор Эвана Миллера. Для расчета времени проведения эксперимента и необходимости этого мероприятия, нужно иметь данные о:

  • трафике на сайте;
  • текущей конверсии;
  • предполагаемом приросте конверсии.

Калькулятор Эвана Миллера позволит рассчитать количество показов, необходимое для получения статистически значимого результата. Соотношение количества показов и приблизительного трафика на сайте укажет, какое время займет эксперимент и стоит ли его проводить.

Если тестирование будет длиться долго, начинать его нецелесообразно: пока идет процесс, предложение компании может стать неактуальным, ресурсы будут потрачены впустую. Например, ожидать полгода данных теста по замене цвета кнопки на сайте неразумно, особенно если в итоге разница между вариантами страниц будет незначительной.

Однако бывают и такие тесты, которые длятся несколько месяцев, но при этом являются полезными, результативными и могут окупиться. Компании, продающие дорогостоящие товары (автомобили, недвижимость и т. п.) могут позволить себе провести длительное A/B-тестирование.

Допустим, трафик на сайте составляет 10 000 человек в месяц. Компания проводит тесты двух popup, собирающих электронные адреса пользователей:

  • Предполагаемая конверсия popup — 2 %.
  • Ожидаемый прирост конверсии — 20 %.
  • То есть конверсия popup в одном из вариантов может увеличиться до 22 %.

Все данные были внесены в калькулятор, который показал, что каждый из вариантов страницы нужно показать 19 784 пользователям. Из этого количества нужно вычесть ту часть потенциальных клиентов, которой нет необходимости показывать сообщение (допустим, тем, чья электронная почта уже есть в базе компании). В итоге остаётся 45 000 пользователей. Нужно 19 784 * 2 показа. Тестирование займет месяц.

Приведем пример эксперимента с расчетной длительностью в 21 год.

Исходные данные: трафик на сайте — 10 000 человек в месяц, конверсия в email — 3 %. Компания хочет выяснить, влияют ли эмодзи на Open Rate — отношение количества открытых писем к количеству отправленных. Для этого проводится A/B-тестирование представления темы письма.

Вариант А: Вам подарок – 5000 рублей на первый заказ!

Вариант Б: [эмодзи] Вам подарок – 5000 рублей на первый заказ!

Результаты теста:

Open rate варианта А — 40 %.

Open rate варианта Б — 41 %.

Значит, эмодзи практически не оказали влияния на конверсию.

Введя данные в калькулятор, специалист увидит, что нужно отправить 37 719 писем на каждый из вариантов, чтобы понять, каково влияние эмодзи на конверсию. Всего 75 438 писем. Имея конверсию в e-mail 3 % и трафик в 10 000 человек, можно ежемесячно посылать 300 писем. Значит, чтобы провести полноценный эксперимент, придется потратить 21 год.

Частые ошибки А/В-тестирования

Ошибки А/В-тестирования

  1. Сегментация аудитории не проведена.
  2. Маркетинг во многом базируется на сегментации потребителей товаров и услуг. Без этого уровень эффективности продвижения многократно снижается. Компания должна предлагать покупателям именно то, что их интересует, а для этого нужно знать, каковы эти интересы. Важно понимать, что у всех они разные даже в рамках выделенной целевой аудитории.

    Для A/B-тестирования сегментация также имеет огромное значения, так как, запустив эксперимент на общую массу пользователей, можно получить абсолютно некорректный результат.

  3. Выбрана очень маленькая аудитория для эксперимента.
  4. Величина аудитории прямо пропорциональна надежности результата тестирования. Данные будут считаться репрезентативными в том случае, если в эксперименте приняли участие хотя бы несколько сотен человек.

  5. Tестирование включает сразу несколько экспериментов.
  6. A/B-тестирование помогает определить эффективность какого-то конкретного изменения в плане увеличения конверсии. Соответственно, внедрять необходимо только одно новшество за раз. Изменив сразу несколько элементов, невозможно будет определить тестированием, какой из них оказал влияние на конечный результат.

    Однако можно проводить и расширенное A/B-тестирование. Программы, которые позволяют сделать это (например, Carrot quest), предлагают настроить для одного автосообщения неограниченное количество A/B-тестов. Допустим, сначала проводится эксперимент с заголовком письма, после выявления победителя и окончания теста начинается тестирование CTA, потом текста сообщения и т. д.

  7. Используется чужой опыт.
  8. Внедрение результатов чужого успешного тестирования в свою работу заведомо провально. У каждой компании уникальные исходные данные, и даже если кому-то использование ярко-красной кнопки на сайте повысило конверсию, далеко не факт, что это сработает где-то еще. Это выясняется только опытным путем.

  9. Завышенные ожидания.
  10. Завышенные ожидания

    Тестирование далеко не всегда обеспечивает то увеличение конверсии, которого ждут специалисты. Нужно понимать, что двукратный рост этого показателя случается, однако чаще он гораздо ниже. Однако даже небольшой результат способен повлиять на количество лидов и прибыль.

Тестирование хорошо тем, что его можно использовать множество раз, экспериментируя с настройками до тех пор, пока не будут найдены оптимальные значения.

Другие виды тестирования

Помимо A/B-тестирования существуют и другие типы экспериментов подобного плана:

  • А/А тест. В данном случае одинаковое сообщение демонстрируется разделенной на две части аудитории. Так проверяется, насколько однороден трафик, каково качество настройки сплит-тестирования. Этот эксперимент проводят в качестве подготовки к A/B-тесту, однако он занимает много времени.
  • А/А/Б тест. Его используют, если трафик кажется неоднородным для конкретной категории пользователей. Сегмент Б даст достоверный результат только в случае равенства А и А.
  • А/Б тест с контрольной группой. В данном случае пользователи делятся на три части: 45 % аудитории увидят вариант А, 45 % увидят вариант Б, 10 % не увидят ничего. Тестирование дает возможность понять, каково влияние сообщения на пользователя. Если конверсия в контрольной группе такая же, как в других или выше, это сигнал к закрытию А/Б теста.

Не стоит расстраиваться из-за неудачных экспериментов. Даже если результаты были плохими, это все равно использование возможности приобрести новые знания и опыт. В будущем это позволит проводить более успешные тесты, основываясь на полученных ранее данных.


a b тестированиеа b тестирование программырезультаты a b тестированияпроцесс a b тестированияпроведение a b тестированиявремя a b тестированияa b тестирование методикаa b тестирование примерособенности a b тестированияa b тестирование инструментыa b тестирование сайтасоздать a b тестированиекак проводить a b тестированиесервис a b тестированиякалькулятор a b тестирования

Статья опубликована:

Читайте также

Генератор Продаж
Опубликовано
Генератор Продаж
г. Рязань, Куйбышевское шоссе, 25
Телефон: 8 (800) 775-43-06