Зачем образовательному сервису еженедельные AB-тесты
Образовательная платформа «ЯКласс» рассылает письма трём непохожим друг на друга аудиториям: учителям, родителям и школьникам. У каждой группы свои мотивы, свой язык, свои триггеры для открытия письма. Школьников мотивируют учиться и предлагают подписку с расширенными заданиями и тренажёрами для экзаменов. Учителям объясняют, как автоматизировать проверку домашних заданий. Родителям рассказывают про дополнительные материалы и подготовку к контрольным.
Чтобы найти подход к каждому сегменту, команда запускает AB-тест каждую неделю. Проверяют всё: формулировки тем, офферы, длину письма, тон общения. За первую половину 2025 года протестировали больше двадцати гипотез. Часть из них дала неожиданные результаты, которые перевернули привычные представления о персонализации и скидках в email-маркетинге.
Процесс: от гипотезы до масштабирования
Тесты проводятся на массовых рассылках. Письмо уходит широкому сегменту, и результаты видны уже через один-два дня. Успешные форматы потом переносят в автоматические цепочки. Весь процесс ведёт один маркетолог с помощью встроенных инструментов CDP-платформы.
Процесс состоит из нескольких этапов:
- Генерация гипотез, идеи берут из трёх источников: чужие рассылки, успешные тесты на других сегментах и командные брейнштормы.
- Запуск теста, аудиторию делят на группы, каждой отправляют свой вариант письма.
- Анализ результатов, завершённые тесты заносят в таблицу с периодом, гипотезой, сегментом и цифрами.
- Масштабирование, если гипотеза подтвердилась на узком сегменте, её проверяют шире. Если сработало на учителях английского, пробуют на учителях математики, потом на всех учителях.
Команда осторожно подходит к масштабированию: аудитория слишком разнообразная, чтобы переносить один приём на все сегменты разом. Сначала тестируют на узкой группе, потом снимают ограничения по предмету или классу, оценивают результат и только потом расширяют.
Откуда берутся идеи для тестов
Маркетологи «ЯКласса» регулярно просматривают рассылки из других отраслей. На встречах обсуждают письма, которые привлекли внимание, и разбирают приёмы, которые можно адаптировать. Так, например, родилась идея протестировать длину письма.
Второй источник, перенос гипотез между сегментами. Если для родителей младших школьников сработал акцент на бесплатные материалы, ту же идею тестируют на родителях средних и старших классов.
Третий источник, брейнштормы с участием людей из разных отделов: региональных менеджеров, бухгалтеров и других сотрудников, у которых есть дети-школьники. Свежий взгляд «не-маркетолога» часто даёт неожиданные идеи.
Шесть проверенных гипотез: что сработало, а что нет
1. Обращение по имени в теме письма повышает open rate
Одной группе отправляли стандартную тему, другой, ту же тему, но с именем получателя. Тесты прогнали на трёх аудиториях.
Учителя: гипотеза подтвердилась. Тема «Мария Юрьевна, последний шанс использовать скидку 25%!» дала open rate 2,17% на выборке 156 972 человека, а безличная «Скидка 25%: последний день!», только 1,86% на выборке 158 115. Имя в теме стабильно повышало open rate на 0,1-0,56 п.п.
Школьники: результат неоднозначный. В одном тесте имя не дало статистически значимого эффекта, в другом, тема с именем выиграла.
Родители: гипотеза не подтвердилась. Обращение по имени не повлияло на открываемость.
После повторных тестов заметили, что влияние обращения по имени на open rate со временем снижается. Приём «примелькивается». Поэтому решили использовать персонализацию точечно, в письмах с персональной скидкой или анонсом нового продукта, где индивидуальный оффер выглядит более ценным.
2. Скидка в теме письма привлекает больше открытий
Школьникам и учителям предлагали скидку на платную подписку. Одной группе отправили письмо со скидкой прямо в теме, другой, тему без упоминания скидки.
Тест на школьниках: тема «Летняя скидка 40%!» (выборка 1 232 144) показала open rate 1,64%. Тема «Летний чек-лист: знаем, что тебе нужно на каникулах» (выборка 1 231 921), 1,54%. Скидка выиграла, но с минимальным отрывом.
Тест на учителях: тема со скидкой показала open rate 2,82% против 3,01% у темы без скидки (на выборке около 282 000). Скидка проиграла.
Результаты по сегментам различались. Для школьников скидка в теме чуть-чуть улучшала показатели, для учителей, нет. Общий вывод: упоминание скидки в теме не даёт гарантированного прироста открытий.
3. Неформальный тон в теме повышает open rate у учителей
Одной группе отправили письмо с короткой, разговорной темой вебинара. Другой, с полным официальным названием. Тестировали на рассылках учителям.
Тема «Мария Юрьевна, приглашаем на вебинар о портфолио учащихся» (выборка 34 143) дала open rate 5,27%. Тема «Мария Юрьевна, приглашаем на вебинар "Портфолио обучающегося в условиях действующего законодательства"!» (выборка 34 231), 4,93%.
Гипотеза подтвердилась с достоверностью 95%. Более короткая и неформальная формулировка побеждала и при повторных экспериментах. Вывод простой: учителя лучше реагируют на живой язык, а не на канцелярит.
4. Чем выше процент скидки, тем выше open rate
«ЯКласс» решил проверить, какая скидка сработает лучше, 60% или 65%. Одной группе отправляли тему со скидкой 60%, другой, 65%.
Тесты проводились семь раз. В пяти случаях разница не достигала статистической значимости. Когда различия всё-таки были, они противоречили друг другу: один раз выигрывала скидка 60%, другой, 65%.
Пример: тема «Мария, расцвела скидка: -60% на Я+!» (выборка 42 202), open rate 3,7%. Тема «Мария, расцвела скидка: -65% на Я+!» (выборка 51 337), 3,5%.
Гипотеза не подтвердилась. Получателям, судя по всему, интереснее не конкретный размер скидки, а сама интрига, какое предложение приготовила компания. Если получателю любопытно, он откроет письмо и без обещания скидки.
5. У короткого письма выше click rate
Одной группе отправляли длинное письмо с несколькими контентными блоками, другой, короткое, с одним оффером. Тестировали на учителях, родителях и школьниках.
Учителя: длинное письмо (13 766 человек), open rate 9,4%, click rate 0,7%. Короткое (13 966 человек), open rate 9,4%, click rate 0,8%. Практически одинаково.
Родители: длинное (8 679 человек), open rate 7,9%, click rate 0,9%. Короткое (8 867 человек), open rate 8,6%, click rate 0,8%. Снова без значимой разницы.
Школьники: длинное (108 480 человек), open rate 6,3%, click rate 0,7%. Короткое (109 141 человек), open rate 6,4%, click rate 0,6%.
Гипотеза не подтвердилась ни в одном из трёх сегментов. Длина письма не влияет на click rate так сильно, как принято считать. Возможно, дело не в количестве контента, а в качестве оффера и его соответствии конкретной аудитории.
6. Тема-уведомление без прехедера повышает и open rate, и click rate
Самый провокационный тест. Одной группе отправили письмо с информативной темой и прехедером про скидку. Другой, письмо с темой «ВАМ НОВОЕ УВЕДОМЛЕНИЕ!» без прехедера. Проверяли на всех трёх аудиториях.
Учителя: информативная тема «Воскресная скидка 30% с 14 до 17 часов!» (выборка 156 218), open rate 4,4%, click rate 0,1%. Тема «ВАМ НОВОЕ УВЕДОМЛЕНИЕ!» (выборка 159 167), open rate 14,9%, click rate 0,3%. Разница по open rate, больше 10 п.п.
Родители: скидочная тема (284 175 человек), open rate 5,2%, click rate 0%. Уведомление (289 046 человек), open rate 12,4%, click rate 0,1%.
Школьники: скидочная тема (1 411 738 человек), open rate 4,8%, click rate 0%. «ТЕБЕ НОВОЕ УВЕДОМЛЕНИЕ!» (1 432 689 человек), open rate 6,6%, click rate 0,1%. Эффект заметен, хотя слабее, чем у учителей и родителей.
Гипотеза подтвердилась во всех трёх сегментах. Техническое уведомление в теме без прехедера создавало интригу и давало лучшие результаты по обоим показателям. Но в команде понимают: такой приём нужно использовать точечно, чтобы не подорвать доверие подписчиков.
Четыре практических вывода
- Имя в теме работает по-разному для разных аудиторий. Учителя и школьники реагировали на обращение по имени лучше, чем родители. Если злоупотреблять этим приёмом, его эффективность падает. Используйте персонализацию точечно, для персональных скидок или анонсов нового продукта.
- Размер скидки менее важен, чем интрига. Интригующие темы писем (вроде «Вам новое уведомление!») поднимали open rate на 6-10 п.п. по сравнению со скидочными предложениями. Любопытство оказалось сильнее прямой выгоды.
- Проверяйте одну гипотезу несколько раз. Приёмы, которые сработали в первый раз, со временем теряют эффективность, и наоборот. В «ЯКлассе» предпочитают повторно тестировать гипотезы, прежде чем принимать решение о масштабировании.
- Не проверяйте гипотезу сразу на широкой аудитории. Надёжнее начать с узкого сегмента и расширяться только после подтверждения результата. Это снижает риск масштабирования неэффективного подхода.
Что это значит для email-маркетинга
Опыт «ЯКласса» показывает: интуиция email-маркетолога часто обманывает. Казалось бы, персонализация и большие скидки должны работать всегда. На практике обращение по имени помогает только для части аудитории, разница между 60% и 65% скидки незаметна, а тема-провокация «ВАМ НОВОЕ УВЕДОМЛЕНИЕ!» бьёт все рекорды по открываемости.
Главная ценность системных AB-тестов, не отдельные «лайфхаки», а выстроенный процесс принятия решений на основе данных. Когда команда проверяет по пять гипотез в месяц, фиксирует результаты в таблице и осторожно масштабирует успешные находки, рассылки улучшаются не рывками, а постоянно.
Для компаний с несколькими сегментами аудитории это особенно актуально. Один и тот же приём может поднять open rate у учителей и никак не повлиять на родителей. Без тестов вы этого не узнаете.
