Как не терять конверсии из-за технических сбоев: опыт Нетологии с 1300 CRM-сценариями

Когда сотни сценариев работают без присмотра

Нетология, онлайн-платформа обучения новым профессиям с 355 курсами и двумя миллионами студентов. В CRM-отделе запущено 1300 автоматических сценариев, создающих 2800 рассылок. При таком масштабе даже небольшой сбой в одном сценарии становится заметной потерей выручки, если его не заметить вовремя.

Руководитель CRM-маркетинга Нетологии Пётр Ермаков рассказал о системе мониторинга ошибок, которая занимает один час в неделю и держит конверсию под контролем.

Как обнаружили проблему

С декабря 2023 по май 2024 года конверсия в заявку из автоматических кампаний начала падать. Параллельно фиксировались технические сбои это иногда команда замечала их сама, иногда сообщал менеджер платформы. Нужно было понять: насколько просадка связана именно с этими ошибками?

Чтобы разобраться, провели анализ по шагам:

1. Выбрали 15 наиболее популярных сценариев и объединили их в тематические группы по языкам программирования, которые продвигаются.
2. Определили, в каких группах фиксировались сбои.
3. Для каждой группы выявили период проблем и подсчитали конверсию в этот период.
4. Сравнили цифры с нормальными показателями каждой группы.

Результат подтвердил опасения: ошибки снижали конверсию на 0,03-0,1 п. п. По группам это выглядело так:

• Группа 1: минус 0,06 п. п.
• Группа 2: минус 0,04 п. п.
• Группа 3: минус 0,04 п. п.
• Группа 4: минус 0,1 п. п.
• Группа 5: минус 0,1 п. п.
• Группа 6: минус 0,03 п. п.

Для одной кампании это скромно. Но при 1300 сценариях эффект становится ощутимым.

Почему ошибки вообще возникают

Большинство сбоев имеют техническую природу. Платформа автоматически ограничивает ресурсы, доступные механикам. Например, транзакционные рассылки (SMS о статусе заказа) и массовые работают в разных режимах.

Проблемы появляются в таких ситуациях:

• Сотни сценариев срабатывают одновременно, пересчитываются большие сегменты или уходит массовая рассылка на 500 тысяч клиентов, процессинг перегружается.
• Сложный фильтр долго пересчитывается и блокирует создание сегмента.
• Масштабный импорт данных резко увеличивает количество событий в сценарии. Класс обслуживания меняется, скорость обработки падает.

Это предсказуемые технические ограничения, с которыми сталкиваются зрелые CRM-системы при больших объёмах. Вопрос только в скорости обнаружения и устранения.

Как отслеживали ошибки раньше

До появления нового инструмента мониторинга процесс был неудачным. Три человека из CRM-команды открывали список ошибок и по очереди расследовали каждую, на одну уходило до 10 минут. При сотнях сценариев ресурсов просто не хватало.

Старый инструмент имел три главных недостатка:

• Было непонятно, в какой цепочке возникла ошибка и по какой причине.
• Мелкие и серьёзные баги отображались вперемешку: приоритизировать было невозможно.
• Данных для расследования не хватало.

В итоге команда чинила только то, что случайно замечала сама, коллеги или менеджер платформы. Ошибки иногда удавалось поймать через отчёты о прохождениях: резко падали прохождения в каком-то блоке, начинали разбираться. Но это был реактивный подход. Большинство проблем оставались незамеченными.

Как выстроили системный мониторинг

Нетология стала одним из первых клиентов, кто тестировал обновлённую страницу проблем. Команда активно давала обратную связь разработчикам о недостатках старого интерфейса, и в результате получила возможность участвовать в доработке нового.

Обновлённый инструмент принёс три главных улучшения:

• Сортировка ошибок от свежих к старым.
• Фильтрация по статусу, типу (операции, рассылки, сценарии), дате возникновения.
• Достаточно информации, чтобы понять причину и оценить масштаб без отдельного расследования.

Что изменилось на практике

Первым делом команда использовала новый инструмент для анализа сбоев при отправке продуктовых рассылок, тех, что продвигают бесплатные курсы или дают скидки на платные. Такие рассылки уходят по расписанию и приносят сотни заявок в день.

Выяснилось: рассылки регулярно не доходили до всех клиентов, а иногда вообще не отправлялись. Причин было две:

• Слишком сложные фильтры при создании сегментов долго пересчитывались и блокировали отправку.
• Одновременный запуск большого числа пересчётов перегружал процессинг.

После диагностики CRM-маркетологи взялись за работу. Конкретные действия:

• Массовые рассылки перенесли на утро, когда нагрузка минимальна.
• Сложные фильтры упростили, часть компаний переключили на пересчитываемые сегменты.

После доработки ошибки в этих кампаниях прекратились, конверсия в заявки вернулась к норме. По данным Нетологии, рассылки-офферы работают лучше, чем раньше, а автоматические анонсы экономят команде 6-12 часов в неделю.

Как выглядит работа сейчас

Пётр Ермаков описывает текущий ритм так:

Каждый четверг за один час проверяю страницу проблем: смотрю, в каких сценариях ошибки, почему они возникли и сколько работы потребуется. Потом приоритизирую задачи в зависимости от того, сколько заявок приносит каждый сценарий. Так составляется план улучшений на неделю.

Нагрузка на CRM-отдел заметно снизилась: больше не нужно часами ловить поломки и привлекать специалистов для расследования каждой ошибки.

Что важно для других команд

Опыт Нетологии показывает несколько рабочих принципов, которые срабатывают независимо от размера компании:

Технические сбои в CRM-цепочках это норма, а не исключение. При большой базе сценариев они будут происходить постоянно. Задача не исключить их полностью, а находить и устранять быстро.

Работа с ошибками может дать эффект, сопоставимый с AB-тестами. Когда базовые механики уже запущены, устранение сбоев поднимает конверсию столько же, сколько эксперименты с текстами или дизайном.

Инструмент мониторинга должен снижать нагрузку, а не создавать её. Если расследование каждой ошибки занимает 10 минут и делается вручную это не мониторинг, а тушение пожаров. Нормальный ритм: один-два часа в неделю на всё.

Приоритизируйте по влиянию на выручку. Нет смысла чинить ошибки в порядке возникновения. Сначала сценарии, которые приносят больше всего заявок и продаж.

Результат регулярного мониторинга в Нетологии: конверсия в заявку из главных сценариев восстановилась и перестала падать из-за сбоев, которых раньше просто не видели.