Проблема: стандартная атрибуция заказов не показывает реальную картину
Сервисы доставки еды работают в условиях, где решение о заказе принимается быстро. Человек открыл приложение, набрал корзину, отвлёкся, и через час уже не хочет есть или заказал у конкурента. Триггерное письмо «вы забыли корзину» должно прийти вовремя, но что значит «вовремя»?
Команда TanukiFamily столкнулась с этим вопросом напрямую. Они запустили A/B-тест двух вариантов отправки напоминания о брошенной корзине: через 10 минут и через 20 минут после того, как пользователь покинул оформление заказа. Контрольная группа (10% аудитории) не получала писем вообще.
Спустя месяц работы теста результаты выглядели невнятно. Оба варианта показывали примерно одинаковую конверсию в заказ. Почему? Платформа автоматизации считала все заказы участников теста, а не только те, что были сделаны под влиянием письма. Клиент мог получить напоминание сегодня, а заказать через неделю совсем по другой причине: увидел рекламу, захотел попробовать новое меню, просто проголодался.
Почему классический подход к A/B-тестам буксует в фуд-деливери
В e-commerce покупка часто привязана к конкретной потребности. Человек ищет кроссовки, добавляет в корзину, получает напоминание, и либо покупает, либо нет. Окно принятия решения может длиться дни и недели.
В доставке еды всё иначе. Заказ это спонтанное решение, привязанное к моменту. Голод наступает несколько раз в день, и каждый раз это отдельная ситуация выбора. Если человек бросил корзину в обед, напоминание вечером уже про другой контекст. Напоминание через три дня это вообще из параллельной вселенной.
Когда A/B-тест собирает все заказы за период без привязки к дню отправки, возникает серьёзный шум в данных. Участники обеих групп продолжают заказывать еду просто потому, что это их привычка. Эти «фоновые» заказы размывают разницу между вариантами, и тест не может определить победителя.
Что конкретно мешало увидеть разницу
- Заказы через 2-3 дня после письма попадали в статистику варианта, хотя клиент давно забыл про напоминание
- Повторные заказы постоянных клиентов (а в фуд-деливери таких большинство) создавали статистический шум
- Оба варианта 10 и 20 минут: набирали примерно одинаковое количество заказов за счёт отложенных покупок, а не за счёт прямого влияния письма
Решение: считать только заказы в день получения письма
Команда TanukiFamily вместе с менеджером CRM-платформы пересмотрела подход. Идея простая: если нужно понять, какое время отправки лучше конвертирует, смотреть нужно на заказы, сделанные в тот же день, когда пришло письмо.
Выгрузили полный список участников теста с датами отправки писем и датами заказов. Из всего массива оставили только те заказы, которые были совершены в течение суток после получения напоминания. Остальные отбросили.
Фактически это ручная переатрибуция: вместо того чтобы приписывать варианту все действия участника за весь период, учитываются только те, что произошли в коротком окне после коммуникации.
Проверка статистической значимости
После фильтрации выборка уменьшилась, возник вопрос: достаточно ли данных для выводов? Калькулятор достоверности A/B-тестов показал: выборка осталась репрезентативной, статистическая значимость 95%.
Результаты: 10 минут побеждают с отрывом в 2 процентных пункта
После пересчёта картина стала отчётливой:
- Вариант A (отправка через 10 минут): конверсия на 1,42 п. п. выше контрольной группы
- Вариант Б (отправка через 20 минут): конверсия на 0,66 п. п. ниже контрольной группы
- Контрольная группа: базовый уровень конверсии без напоминаний
Разница между вариантами больше двух процентных пунктов. Для триггерной рассылки это существенно, потому что работает на всю базу и разница масштабируется вместе с количеством брошенных корзин.
Вариант с 20-минутной задержкой показал результат хуже контроля. То есть отправлять письмо через 20 минут не просто менее эффективно, это может снижать конверсию. Возможная причина: к этому моменту клиент уже принял решение не заказывать, и письмо воспринимается как раздражающее.
Какие выводы стоит взять на вооружение
Кейс TanukiFamily полезен не только фуд-деливери. Вот принципы, применимые к A/B-тестированию триггерных коммуникаций в любой сфере:
- Сужайте окно атрибуции. Чем короче цикл принятия решения, тем уже окно, в котором приписываете заказ конкретному варианту. Для доставки еды это сутки, для интернет-магазина одежды, может быть, неделя.
- Не доверяйте встроенным отчётам. Платформы часто считают всё подряд. Это удобно для общей картины, но может маскировать реальное влияние отдельных переменных.
- Скорость реакции критична для импульсных покупок. Десять минут: не двадцать. В доставке еды каждая минута задержки уменьшает вероятность покупки. Если продукт покупается спонтанно, тестируйте максимально ранние отправки.
- Проверяйте значимость после фильтрации. Когда отбрасываете часть данных, выборка сжимается. Перед выводами убедитесь, что оставшихся данных достаточно для надёжного результата.
«Каждый день у нас возникает миллион вопросов: как лучше сделать, что лучше сказать, какую картинку выбрать. Культура тестирования прочно вошла в нашу жизнь это мы не тратим время на споры, а по процедуре запускаем тесты», Екатерина Рыжова, CMO TanukiFamily
Что дальше
После успешного теста команда TanukiFamily перевела сценарий брошенной корзины на отправку через 10 минут. Следующий шаг это поиск баланса между выручкой и бонусами для покупателей. Что сработает лучше: скидка, кешбэк или промокод? Это тема для следующего теста.
Подход с ручной переатрибуцией можно использовать и в других триггерных сценариях, welcome-цепочках, реактивации спящих клиентов, допродажах. Везде, где стандартная модель атрибуции может искажать картину из-за длинного «хвоста» отложенных покупок.
