Как AB-тесты помогают обувному бренду зарабатывать больше на рассылках
Email-рассылки и мобильные push-уведомления приносят обувному бренду Mario Berlucci порядка 30% выручки. Это серьезная доля, и CRM-команда бренда постоянно работает над тем, чтобы каждое письмо и каждый пуш приносили максимум переходов и продаж.
Главный инструмент для этого это AB-тестирование. За полгода команда проверила более 35 гипотез, из которых 12 дали устойчивые результаты. Эти тесты охватывают контент писем, темы, офферы, структуру пушей и персонализацию. Ниже разберем каждый из них с конкретными цифрами.
Откуда берутся гипотезы и как устроен процесс
CRM-маркетолог Mario Berlucci ежедневно мониторит рассылки конкурентов и компаний из смежных отраслей. Интересные приемы адаптирует под свою аудиторию. Дополнительный источник идей, портрет клиентов и данные маркетинговых исследований.
В email Mario Berlucci делает акцент на контентные письма с подборками товаров: по сезону, цвету, дизайну, материалу, размеру и полноте стопы. Раз в месяц выходит рассылка с познавательными статьями об искусстве, моде и психологии. Средний click rate таких некоммерческих писем около 1%, при этом они генерируют дополнительную выручку.
Для AB-тестов аудиторию делят на сегменты по двум критериям:
- По поведению: вовлеченные (взаимодействовали с рассылками за последнее время) и активные (покупали или просматривали товары недавно).
- По физическим параметрам: клиенты с известным размером стопы, с узкой стопой, с широкой стопой, без данных о полноте.
Каждый тест длится два дня, результаты фиксируют в таблице. Успешные гипотезы масштабируют на все рассылки, провальные откладывают.
Шесть AB-тестов в email-рассылках
1. Персональные товарные рекомендации против ручной подборки
Первый тест сравнивал два подхода к формированию товарных подборок в письмах. В одном варианте товары подбирал маркетолог вручную. В другом это алгоритм персональных рекомендаций, который учитывал поведение каждого подписчика.
Алгоритм настраивали за два дня до рассылки. Для рассылки о светлых оттенках обуви указывали сегмент "светлая зимняя обувь", и система подбирала товары на основе предпочтений конкретного подписчика.
Результат впечатляющий:
- Ручная подборка: click rate 1,48%, CTOR 15,96%
- Автоматические рекомендации: click rate 3,37%, CTOR 29,73%
Разница подтверждена статистически (95% значимость). В сегменте клиентов с узкой стопой автоматические рекомендации выиграли с разницей +13,77 п. п. по CTOR. Гипотезу масштабировали на все рассылки с товарными подборками.
2. Распродажа с дополнительной скидкой и без нее
Многие бренды во время сейлов добавляют промокод на дополнительную скидку поверх распродажной цены. Mario Berlucci решили проверить, работает ли такой прием для их аудитории.
Сравнивали два письма:
- Вариант А: письмо о распродаже + промокод на дополнительные 5%. Click rate 0,53%, CTOR 10,63%.
- Вариант Б: просто письмо о распродаже. Click rate 0,66%, CTOR 12,98%.
Гипотеза провалилась. Письмо без дополнительного промокода показало лучшие метрики с разницей -2,35 п. п. по click rate (95% значимость). Два оффера одновременно путают получателей. От этого сочетания отказались.
3. Блок товарных категорий в конце письма
В письмах Mario Berlucci есть навигационное меню вверху с кнопками: обувь, сумки, блог, распродажа, доставка. Команда предположила, что дополнительный блок с товарными категориями в конце письма поможет читателям перейти в нужный раздел.
Тест повторяли дважды на разных сегментах (с указанным размером стопы и без), потому что первый результат не был статистически значимым.
- Вариант с категориями в конце: click rate 2,94% (в сегменте с известным размером)
- Вариант без категорий: click rate 2,44%
В широких сегментах письмо с блоком категорий выиграло с статистически значимой разницей (+1,76 п. п. в сегменте без данных о полноте). Так как гипотеза не ухудшила метрики, блок добавили во все массовые рассылки.
4. Тема письма: комфорт и стиль против натуральных материалов
Проверяли, как влияет акцент на натуральность материалов в теме письма. Сравнивали:
- "Ботильоны: эстетика женственности"
- "Ботильоны из натуральной кожи и замши"
В большинстве сегментов тема с упоминанием натуральной кожи дала прирост open rate на +2,88 п. п. (95% значимость). Однако в узком сегменте (клиенты с узкой стопой) тема про женственность победила.
Решение: несколько раз в месяц использовать тему с натуральностью в рассылках для широких сегментов. Для узких сегментов провести дополнительные тесты.
5. Длинное письмо с подробностями против короткого
Гипотеза: если добавить в письмо больше деталей о товарах из подборки, клиенты будут кликать чаще.
Тестировали на трех сегментах: активные клиенты, вовлеченные с указанным размером стопы, вовлеченные без данных о размере.
- Длинный вариант с подробностями: CTOR 10,40%
- Короткий вариант (один абзац): CTOR 8,77%
Вариант с развернутым описанием товаров дал значимый рост CTOR, хотя click rate увеличился незначительно. Несмотря на то что не все тесты показали статистическую значимость, команда масштабировала этот подход на другие рассылки.
6. Товарная сетка: стандартная или с имиджевыми фото
Обычно товары в письме располагают в две колонки карточек. Команда заменила одну колонку имиджевыми фотографиями крупного формата и проверила, как это скажется на кликах.
- Стандартная сетка: click rate 2,12%, CTOR 13,31%
- С имиджевыми фото: click rate 2,57%, CTOR 16,08%
Нестандартная сетка выиграла. В сегменте вовлеченных клиентов без данных о полноте разница составила +2,77 п. п. по CTOR (95% значимость). Решили использовать имиджевые фото во всех сегментах.
Шесть AB-тестов в мобильных push-уведомлениях
Для тестов в пушах аудиторию дополнительно сегментировали по операционной системе: iOS и Android. Это связано с разным поведением пользователей и разным отображением уведомлений на платформах.
1. Список с маркерами против сплошного текста
Проверяли, станет ли пуш кликабельнее, если заменить сплошной текст о достоинствах товара маркированным перечнем с эмодзи.
Тест повторяли трижды в каждом сегменте. В одном тесте перечень победил среди Android, в другом среди iOS, в остальных значимой разницы не было.
- Android: сплошной текст это click rate 3,16%, перечень 4,14%
- iOS: сплошной текст это click rate 1,34%, перечень 1,82%
Формат с перечнем включили в рассылки, но ограничили частоту до 2-3 раз в месяц, чтобы не надоесть аудитории однообразными сообщениями.
2. С эмодзи в заголовке или без них
Тестировали, повышают ли эмодзи в заголовке и тексте пуша click rate. Эксперимент проводили по три раза в каждом сегменте.
Гипотеза не подтвердилась. Статистически значимой разницы между вариантами с эмодзи и без них не нашли.
3. Длинный текст пуша против короткого
Проверяли, как длина текста влияет на переходы. Тесты проводили на четырех сегментах: пользователи iOS, Android, а также пользователи старых версий приложения на обеих платформах.
Результат: короткий текст не дал статистически значимого преимущества ни в одном сегменте. Длина текста пуша не влияет на кликабельность.
4. Короткий заголовок (одно слово) против стандартного
Сравнивали ультра-короткий заголовок из одного слова со стандартным из 3-4 слов. Примеры:
- Короткий: "Ботинки"
- Стандартный: "Ботинки: комфорт и тренды"
По три теста в каждом сегменте, ни один не показал значимой разницы. Длина заголовка не влияет на click rate пушей.
5. Акцент на натуральные материалы в тексте пуша
По аналогии с тестом в email проверяли, как влияет упоминание "100% натуральной кожи" в тексте пуша на click rate. Тест проводили трижды на двух платформах.
Гипотеза подтвердилась. Во всех тестах упоминание натуральности положительно повлияло на click rate. Среди пользователей Android разница составила +1,27 п. п. (95% значимость). Решили упоминать натуральность в пушах при каждом уместном случае.
6. Случайная подборка или персонализированная по размеру обуви
Самый показательный тест. Сравнивали общий пуш ("Эффектные ботильоны") с персонализированным ("Ботильоны N размера"), где N, известный размер стопы клиента.
Результаты впечатляют:
- iOS: персонализированный пуш дал +2,17 п. п. к click rate (99% значимость)
- Android: +2,84 п. п. к click rate (99% значимость)
Оба теста повторяли дважды, каждый раз подборка по размеру выигрывала. Гипотезу масштабировали на все рассылки с подборками обуви.
Что можно вынести из этих тестов
Двенадцать тестов Mario Berlucci дают несколько практических выводов, полезных для любого бренда с email- и push-каналами:
- Персонализация работает. Автоматические товарные рекомендации и подборки по размеру дали самый заметный прирост метрик. Используйте данные о предпочтениях клиентов.
- Не усложняйте офферы. Два промо-предложения в одном письме путают аудиторию и снижают click rate.
- Добавляйте навигацию. Блок с товарными категориями в конце письма помогает тем, кто просмотрел подборку, но не нашел нужное.
- Упоминайте конкретные характеристики товара. "Натуральная кожа" работает лучше абстрактных "комфорт и стиль", в темах писем и в текстах пушей.
- Длина не так важна, как содержание. Ни длина текста пуша, ни длина заголовка не влияют на click rate. Зато подробное описание товаров в email повышает CTOR.
- Формат списка с маркерами в пушах дает положительный эффект. Используйте его, но чередуйте со сплошным текстом.
Команда Mario Berlucci планирует продолжать тестирование и проверить по 10 новых гипотез в email и пушах. В планах: запускать тесты на возрастных сегментах, чтобы лучше понимать предпочтения разных групп клиентов.
Если вы работаете с email-маркетингом и push-уведомлениями, главный урок этого кейса прост: тестируйте все. Даже гипотезы, которые кажутся очевидными, могут не сработать на вашей аудитории. А те, что сработали, нужно периодически перепроверять это поведение подписчиков меняется со временем.
