«Фоксфорд» проводит AB-тесты почти для каждой рассылки. За четыре месяца систематической работы команда подняла средний open rate на 5 процентных пунктов. В этом материале -- шесть тестов тем писем с конкретными цифрами: что сработало, что провалилось и почему.
Как устроен процесс AB-тестирования
Откуда берутся гипотезы
В «Фоксфорде» используют два источника идей. Первый -- опыт других компаний и отраслей: берут чужие кейсы и адаптируют под специфику образовательного бизнеса. Второй -- собственные эти: если гипотеза хорошо сработала на одном сегменте пользователей, её масштабируют на другие группы.
Пользователи «Фоксфорда» делится на три основных сегмента: учителя, родители и школьники. Внутри каждого -- подгруппы по классам: подготовительные, начальные, средние и старшие. Если родители младшеклассников хорошо реагируют на пометку «бесплатно» в теме письма, ту же гипотезу проверяют на родителях средне- и старшеклассников.
Как настраивают и запускают тесты
Перед запуском рассчитывают нужный размер выборки: вводят ожидаемый прирост, число вариантов, уровень достоверности и среднее значение метрики. Если реальный сегмент сильно меньше расчётного минимума, от теста отказываются. Именно так поступили с B2B-сегментом: для статистически значимого результата нужно не менее 10 тысяч контактов, а в базе только 3 тысячи.
Все тесты запускают в CDP-платформа. Для срочных рассылок (короткая акция, ограниченное предложение) используют классическое разделение 50/50. Если дедлина нет, запускают трёхгрупповой тест: 25% получают вариант A, 25% -- вариант B, оставшиеся 50% -- письмо-победитель после определения лучшего варианта.
Каждый тест фиксируют в базе знаний в Notion: гипотеза, сегмент, результат. Это позволяет масштабировать выигрышные решения и не повторять тесты, которые уже несколько раз не дали значимого результата. Помимо open rate, команда всегда отслеживает delivery rate, unsub rate и spam rate -- высокий click rate при большом количестве отписок не считается успехом.
Шесть AB-тестов тем писем: что повысило open rate
Тест 1. Имя получателя в теме письма
Около половины пользователей «Фоксфорда» указывают имена в личном кабинете. Эти передаются в CDP-платформа, и их можно подставлять в рассылки. Команда решила проверить, как персональное обращение влияет на открываемость.
Первый тест запустили на учеников 8--9-х классов.
- «Как не бояться будущего 5 ночей с ОГЭ» -- open rate 16,8%
- «Ксения, как не бояться будущего 5 ночей с ОГЭ» -- open rate 17,3%
Достоверность теста -- 95%. Гипотеза подтвердилась. Тот же тест повторили на учениках 10--11-х классов и получили аналогичный результат. После этого имя получателя включили в темы писем для всех школьников, у которых оно есть в профиле.
Тест 2. Пометка «бесплатно»
Аналитики заметили, что родители учеников начальной школы активнее реагируют на бесплатные предложения. Проверили, изменится ли открываемость, если явно написать «бесплатно» в теме письма.
- Тема без пометки -- open rate ниже
- Тема с явным указанием «бесплатно» -- open rate выше
Гипотеза подтвердилась. Теперь, когда предложение действительно бесплатное, это всегда фиксируется в теме письма. Следующий шаг -- проверить, как та же пометка сработает для родителей учеников средних и старших классов.
Тест 3. Сленг и локальные шутки
Значительная часть пользователей «Фоксфорда» -- подростки. Команда предположила, что неформальный язык и молодёжный сленг в теме письма могут повысить открываемость. Проверили на учениках 10--11-х классов.
- «ЕГЭ-бинго: узнайте, какой формат подготовки вам нужен» -- open rate 16,4%
- «ЕГЭ на изи: узнайте, какой формат подготовки вам нужен» -- open rate 13,8%
Гипотеза не подтвердилась. Аналогичный тест повторили на учениках 8--9-х классов -- результат тот же. Для верности провели третий тест с другими темами: неформальная версия снова показала результат хуже. В итоге от использования сленга в рассылках полностью отказались.
Тест 4. Глаголы в теме письма
Предположили, что темы с глаголом (призывом к действию) будут работать лучше, чем описательные. Тест запустили на нескольких сегментах. В большинстве случаев варианты с глаголами показывали более высокий open rate. После тестирования глаголы начали использовать чаще, при этом каждую новую рассылку по-прежнему сравнивают с нейтральным вариантом.
Тест 5. Призыв к действию в теме сервисного письма
Для сервисного письма с подтверждением email сравнивали две темы: абстрактную и с прямым призывом к действию.
- «Один клик -- и мы вместе» -- open rate 8,8%
- «Подтвердите email и взгляните на учебу по-новому!» -- open rate 9,6%
Достоверность теста -- 95%. Гипотеза подтвердилась. Вывод: когда получатель сразу понимает из темы, что от него требуется действие, он чаще открывает письмо. После теста призыв к действию внедрили во все сервисные письма.
Тест 6. Имя отправителя: маскот вместо бренда
Мистер Фокс -- маскот «Фоксфорда», которого активно используют в рассылках для учеников начальной школы и их родителей. Команда решила проверить, как изменится открываемость, если указать маскота в поле «От кого» вместо названия компании.
- Отправитель «Фоксфорд» -- open rate 12,3%
- Отправитель «Мистер Фокс» -- open rate 13,2%
Достоверность теста -- 95%. Гипотеза подтвердилась. Маскот знаком пользователей, и его имя в строке отправителя создаёт более личный контакт. Команда планирует провести ещё несколько тестов, чтобы исключить эффект новизны, -- и если результат закрепится, «Мистер Фокс» станет стандартным именем отправителя для сегмента начальной школы.
Бонус: четыре теста содержания писем для роста click rate
Персонализация блоков под специализацию
Для сегмента преподавателей сравнивали два варианта письма: с блоками по предметным областям (математика, русский язык и т. Д.) и с общей кнопкой «Выбрать курс». Письмо с предметными блоками показало более высокий click rate. Предположительно потому, что учитель математики сразу видит подходящий блок и понимает: там точно будет что-то полезное. Абстрактный призыв к действию такого эффекта не даёт. Гипотезу будут проверять на других сегментах.
Развлекательный материал против продающего
Для сегмента родителей дошкольников и учеников 1--4-х классов подготовили большое обучающе-развлекательное письмо. Внутри -- пошаговая инструкция по готовке салата с ингредиентами на английском языке, карточки для игры «мемори» от дизайнеров. Это письмо сравнивали со стандартной продающей рассылкой.
- Обучающе-развлекательное письмо -- click rate 0,1%
- Обычное продающее письмо -- click rate 0,1%
Тест не набрал статистической значимости. Получатели реагировали одинаково на оба формата. Вывод: большой объём работы по созданию нестандартного письма не конвертировался в заметный прирост метрик.
Фокус на одном продукте против сборного письма
«Фоксфорд» предлагает множество форматов обучения. Команда предположила, что читатель может теряться от большого выбора и в итоге не кликает ни на что. Запустили тест: три варианта письма, посвящённых одному продукту, против сборного письма со всеми продуктами.
Результат неоднозначный: тест повторяли на разных сегментах по классам. В большинстве случаев статистической значимости не было. Иногда побеждал сборный вариант, иногда -- письмо с одним продуктом. Однозначного вывода сделать не удалось, тестирование продолжается.
Прехедер или его отсутствие
В одном из тестов проверяли, изменится ли open rate и click rate, если тема письма написана заглавными буквами и имитирует системное уведомление, без прехедера. Гипотеза не подтвердилась: значимой разницы между вариантами с прехедером и без не обнаружили.
Итог: что дали четыре месяца регулярных тестов
С декабря 2023 по март 2024 года средний open rate рассылок «Фоксфорда» вырос на 5 процентных пунктов. Это результат систематической работы: команда не внедряла изменения интуитивно, а проверяла каждую гипотезу на реальных данных.
Главные выводы из десяти проведённых тестов:
- Имя получателя в теме письма работает: open rate выше у школьников 8--11-х классов.
- Пометка «бесплатно» повышает открываемость у родителей младшеклассников.
- Сленг и неформальные темы снижают open rate даже у подростков.
- Глаголы и призывы к действию в теме работают лучше описательных формулировок.
- Маскот в строке отправителя повышает открываемость для лояльного сегмента начальной школы.
- Развлекательный материал не даёт преимущества перед продающим по click rate.
Не менее важен сам процесс: фиксировать результаты в базе знаний, не повторять тесты, которые уже трижды не дали значимых цифр, и масштабировать выигрышные гипотезы на смежные сегменты. Именно это превращает AB-тестирование из разовых экспериментов в системный способ роста метрик.
