MoneyMan, сервис онлайн-займов, работающий с 2011 года. В базе компании более 5 миллионов активных пользователей. Задача команды прямого маркетинга это добиться, чтобы клиент, погасивший первый заем (который выдается под 0%), вернулся за следующим. Именно со второго займа бизнес начинает зарабатывать.
Самый конверсионный инструмент для стимулирования повторных заявок, SMS. Но стоимость этого канала растет каждый квартал. Перед командой встала практическая задача: сократить расходы без потери эффективности.
Почему обычная сегментация не решала проблему
Очевидный способ оптимизировать SMS-рассылки: разбить базу по RFM-сегментам и поочередно проверять, кому из них имеет смысл отправлять сообщения. Проблема в том, что таких сегментов много, и на последовательное тестирование каждого ушли бы месяцы. Команда решила пойти другим путем и использовать машинное обучение, чтобы сразу предсказать вероятность отклика для каждого клиента.
Как разрабатывали ML-модель
Модель разрабатывал внутренний аналитик MoneyMan на базе сторонних решений. Для обучения из бэкофиса выгрузили клиентов с погашенным займом, у которых не было блокирующих факторов, например, тех, кто не удалил личный кабинет. Затем на основе результатов нескольких предыдущих рассылок клиентов разделили на три группы:
- получили SMS с предложением повторного займа и оформили его;
- получили SMS, но заявку не подали;
- не получили SMS, но всё равно оформили заем самостоятельно.
Такое деление позволило вычленить именно ту аудиторию, для которой SMS реально работает как триггер. Аналитик изучил социально-демографические и поведенческие характеристики этих клиентов и загрузил данные в ML-модель. Алгоритм определил, какие характеристики сильнее всего влияют на конверсию в заявку, и научился присваивать каждому клиенту скор-балл.
Теперь перед каждой рассылкой алгоритм проходит по базе и выставляет баллы. SMS получают только те, кто набрал больше 50 баллов из 100. Остальные из рассылки исключаются, не потому что они плохие клиенты, а потому что SMS не является для них решающим фактором.
Проверка корректности: AA-тест как обязательный первый шаг
Прежде чем тестировать сам алгоритм, нужно было убедиться, что набор инструментов AB-тестирования в CDP-платформе работает корректно. К тому же за время разработки модели изменились правила ЦБ и внутренняя политика скидок это могло повлиять на поведение клиентов.
Команда провела AA-тест: разделила получателей SMS на две группы и отправила им одинаковое сообщение. Если разделение происходит случайно и без систематической ошибки, конверсия в обеих группах должна совпасть. Тест подтвердил это со статистической достоверностью 95%. Для надёжности AA-тест повторили ещё дважды с аналогичным результатом.
AB-тест: ML-алгоритм против стандартной рассылки
После успешной валидации метода провели основной AB-тест. Получателей SMS с предложением повторного займа разделили на три группы:
- 80% пользователей: под действием ML-алгоритма: получают SMS только при скоре выше 50 баллов;
- 10% пользователей: контрольная группа без алгоритма: SMS получают все подходящие по базовым условиям клиенты;
- 10% пользователей: holdout-группа: не получают SMS вовсе, чтобы отделить органический спрос от эффекта рассылки.
Главный принцип измерения: команда не ориентировалась на last click. Учитывалось, подал ли клиент заявку в течение нескольких дней после получения SMS, вне зависимости от того, переходил ли он по ссылке в сообщении. Это даёт более честную оценку реального влияния канала.
Результаты за два месяца
По данным внутренней отчётности MoneyMan, итоги эксперимента оказались убедительными:
- 50% экономии на SMS-бюджете при сохранении прежнего уровня конверсии в заявку;
- 1 месяц работы бизнес-аналитиков и разработчиков сэкономлено благодаря встроенному функционалу AB-тестирования в CDP-платформе;
- 5 часов в неделю экономит маркетолог за счёт автоматической передачи данных в CDP-платформу.
Алгоритм отбирает примерно 50% клиентов из потенциальной аудитории рассылки. Высвободившийся бюджет команда направляет на тестирование новых гипотез и проведение дополнительных акций.
Почему AB-тесты внутри платформы сэкономили месяц работы
Если бы в CDP-платформе не было встроенного функционала тестирования, команде MoneyMan пришлось бы проверять эффективность алгоритма собственными силами. По оценкам, это заняло бы минимум месяц: сначала спринт бизнес-аналитиков, потом спринт разработки. Вместо этого CRM-маркетологу понадобилось несколько часов, чтобы выбрать нужный сегмент и настроить параметры тестирования. Затем оставалось подождать 2-3 недели для накопления статистически достоверного результата.
Команда прямого маркетинга постоянно формулирует новые гипотезы. Одна из них: использовать ML-алгоритм для повышения конверсии в повторную заявку. Он отбирает 50% клиентов из аудитории предстоящей рассылки. Теперь клиент получает SMS только если набирает достаточное количество баллов по скор-модели. Это позволяет экономить 50% SMS-бюджета без снижения конверсии. Высвободившиеся деньги идут на тестирование других гипотез и новые акции. Протестировать алгоритм удалось без привлечения ИТ-ресурсов: именно благодаря встроенному AB-тестированию в CDP-платформе.
Руслан Салихов, Head of Direct Marketing, MoneyMan
Когда этот подход применим
Кейс MoneyMan показывает практичный сценарий для компаний, которые уже внедряют ML-модели в маркетинг, но сталкиваются с проблемой их быстрой и недорогой проверки. Машинное обучение хорошо работает в ситуациях, где аудиторию нельзя разумно сегментировать вручную: слишком много переменных, слишком много потенциальных групп. Алгоритм берёт на себя работу по нахождению паттернов в данных, а инструменты тестирования в CDP-платформах позволяют убедиться в его работоспособности без долгих циклов разработки.
Не пропускайте AA-тест. Проверка базовой корректности метода это обязательный шаг перед любым содержательным экспериментом, особенно если с момента обучения модели прошло время и внешние условия изменились.
