A/B Тестирование Email

Скопировать ссылку на статью

Скопировано

A/B-тестирование (сплит-тестирование) - это метод, который позволяет сравнить различные версии одного письма с целью оценить, как изменения в содержании письма, теме и времени отправки влияют на показатели открытия, кликабельности и конверсии. Исходя из результатов теста, можно выбрать наилучший вариант и отправить его остальной аудитории. Также это позволяет проверять гипотезы и планировать более эффективные рассылки в будущем.

Как провести A/B-тестирование?

В разделе «Рассылки» нажмите на кнопку A/B Тестирование Email.

Шаг 1. Кому отправить

В данном блоке выберите подходящие сегменты из списка.

Для исключения клиентов из рассылки:

Раскройте «Расширенные настройки»;
Нажмите Исключить;
Выберите из списка сегменты, которые хотите исключить.

Шаг 2. Что тестировать

В данном блоке необходимо выбрать параметр тестирования. Доступно четыре параметра:

Тема и прехедер письма. Определение оптимальной темы письма — с персонализацией или без нее, длинной или короткой. Стоит ли добавлять вопросительный знак в конце темы, какой текст использовать в прехедере и эффективно ли добавление призыва к действию.
От кого. Анализ реакции пользователей на разные адреса отправителей. Например, как реагируют клиенты на письма от адреса магазина в сравнении с письмами от менеджера клиента.
Письмо. Исследование эффективности различных стилей оформления, например, текст зеленым цветом на красном фоне. Этот аспект также предоставляет широкие возможности для экспериментов и тестирования.
Время отправки. Определение оптимального времени для отправки писем или рассылок.

Далее выберите количество вариантов тестирования. Доступно протестировать до 3х вариантов писем одновременно.

Критерий определения победителя — показатель, по которому определяется лучший вариант для рассылки. Доступно несколько значений:

Сделано больше открытий письма;
Наибольший процент переходов от числа просмотра письма;
Наибольшее количество заказов;
Наибольшая сумма заказов;
Выберу вручную после отправки тестовых вариантов. После отправки тестовых вариантов, на основании показателей каждой тестовой рассылки, можно будет самостоятельно выбрать вариант победитель и отправить его оставшемуся списку клиентов в сегменте.

Чекбокс Котрольная группа. Доступен, если в качестве критериев определения победителя выбрано одно из значений: «Наибольшее количество заказов», «Наибольшая сумма заказов», «При выборе варианта победителя вручную».

Тестирование с контрольной группой

При таком тестировании всех участников теста делят на группы: одним группам отправляют рассылку, а контрольной группе — нет. В рамках теста считается эффективность каждого варианта и сравнивается с контрольной группой. Это помогает измерить чистый эффект от рассылки, потому что иногда клиенты совершают целевое действие, даже не получая ее.

Тестирование без контрольной группы

При таком тестировании всех участников теста делят на группы, каждой из которых отправляют свой вариант рассылки. Затем эффективность вариантов сравнивают, чтобы выбрать лучший.

«Клиенты, которые поровну получат тестовые варианты». Здесь необходимо указать размер тестовых групп.

Настраивается процент клиентов от сегмента, которые поровну получат тестовые варианты, оставшаяся часть получит вариант победитель. В случае, если указано 100% - вариант победитель отправлен не будет, а тестовые варианты будут отправлены поровну на все тестовые группы.

Система автоматически рассчитывает достоверность тестирования, а именно количество клиентов, которое должно участвовать в тестировании для получения нужного результата. При необходимости, доступно рассчитать этот параметр самостоятельно. Для этого нажмите в правом нижнем углу блока на ссылку Как определить достоверность?.

В открывшейся шторке расположен калькулятор со следующими значениями:

Средний показатель. Этот параметр определяется на основе исторических данных вашей системы, как среднее значение за последние полгода.
Ожидаемый прирост. Это минимальный процент, на который вы планируете увеличить показатель в результате теста. Чем меньше ожидаемый прирост, тем больше требуется выборка. Если результаты теста не достигают ожидаемого прироста, считается, что они незначимы.
Достоверность. Это процент вероятности правильности результатов теста, если тест показал разницу. Если вы не уверены, какой процент указать, можете оставить значение по умолчанию.
Мощность. Это процент вероятности правильности результатов теста, если тест не показал разницу. Если вы не знаете, какой процент выбрать, оставьте значение по умолчанию.
Тестовая выборка. Это количество людей, которые должны увидеть каждый вариант, чтобы результаты теста были достоверными. Размер выборки помогает правильно оценить время проведения теста и избежать его преждевременного завершения или продолжения.

Шаг 3. Email

Настройки блока будут изменяться в зависимости от тестируемого параметра.

Тема/Прехедер: появляется возможность заполнить разные темы и прехедеры для каждого варианта письма.
От кого: появляется возможность указать разные адреса отправителей для отправки тестовых вариантов.
Письмо: появляется возможность создать разные варианты писем с использованием конструктора или визуального редактора.
Разное время отправки: время отправки каждого варианта настраивается в блоке «Когда отправить».

Подробнее о создании шаблона письма читайте в соответствующей статье.

Шаг 4. Когда отправить

Тестовые варианты рассылки можно отправить сразу или запланировать их отправку на определенное время.

Также в блоке настраивается период, через который необходимо отправить вариант победитель после отправки тестовых вариантов. Настройка периода отправки варианта победителя будет доступна, если критерий определения выбирается не вручную и размер тестовых групп меньше 100%.

Примечание

Рекомендуем устанавливать этот период не менее 3 часов. Это оптимальное время, в течение которого получатели могут открыть письмо или выполнить другое целевое действие, на основании которого будет определен вариант победитель.

При тестировании разного времени отправки настраивается время отправки для каждого варианта.

Шаг 5. Конверсия

О том, как настроить конверсию для email-рассылок читайте в соответствующей статье.

Аналитика

Результаты A/B-теста можно увидеть в отчете, который будет доступен после отправки тестовых вариантов. Для этого откройте нужную рассылку и кликнете по кнопке Аналитика.