Выделите контрольную группу: часть клиентов из подходящего сегмента случайным образом оставьте без рассылки, а остальным отправьте сообщение. Затем сравните долю покупателей в обеих группах за одинаковый период. Так вы оцените, сколько повторных покупок добавила рассылка сверх тех, которые произошли бы и без неё. Ниже разберём, как провести такую проверку в малом бизнесе, какие заказы учитывать и почему переходы по ссылке ещё не доказывают, что сообщение вернуло клиента.
Что показывает контрольная группа в рассылке?
Контрольная группа — это клиенты, которым бизнес временно не отправляет сообщение в рамках конкретного теста. Они по-прежнему могут зайти в магазин, записаться на услугу или оформить заказ самостоятельно. Их покупки помогают оценить обычный уровень возврата без этой рассылки.
Допустим, магазин хочет напомнить о себе покупателям, которые давно ничего не заказывали. После отправки появляются продажи. Но часть людей и так собиралась за покупкой: закончился товар, возникла новая потребность или подошёл сезон. Если приписать рассылке все заказы после отправки, её вклад окажется завышен.
Поэтому вопрос теста формулируют узко: увеличивает ли конкретное сообщение долю повторных покупателей в выбранном сегменте за выбранный срок? Для первого запуска достаточно проверить одно напоминание. Если одновременно менять текст, предложение и последовательность каналов, понять причину результата будет сложнее.
Тестировать можно и предложения без скидки: например, напоминание о возобновлении работы или наличии привычного товара. Для такого сценария пригодятся варианты возврата клиентов после сезонного простоя без скидок. Контрольная группа покажет, добавляет ли выбранный повод покупки.
Как разделить базу, чтобы сравнение имело смысл?
Сначала определите, кому вообще подходит сообщение. Для магазина это могут быть покупатели определённой категории, для салона — клиенты, у которых прошёл привычный интервал между визитами. Правило отбора должно быть одинаковым для всех участников теста.
Затем случайным образом распределите клиентов между группой рассылки и контрольной группой. Не отдавайте в рассылку только самых активных, а в контроль — тех, кто давно не отвечает. При таком подходе группы будут отличаться ещё до отправки, и сравнение не отделит эффект сообщения от исходной разницы.
- Сформулируйте правило отбора клиентов по истории покупок или визитов.
- Уберите из выборки тех, кто уже совершил нужную покупку до старта теста.
- Случайно присвойте каждому участнику группу и сохраните это назначение до конца проверки.
- Проверьте, что группы похожи по давности и частоте покупок.
- Исключите участников контроля из проверяемой рассылки и её повторных отправок.
Долю контроля выбирайте с учётом размера базы. Чем меньше в ней клиентов и чем реже они покупают, тем труднее заметить разницу. Универсальная пропорция здесь не заменит оценку: в обеих группах должно быть достаточно покупок, чтобы отдельный заказ не переворачивал вывод.
Для разового теста подойдёт таблица с идентификатором клиента, названием группы и датой старта. Если рассылка запускается автоматически, принадлежность к группе нужно закрепить в системе. Иначе при очередном пересчёте сегмента клиент из контроля попадёт в цепочку и получит сообщение.
Какие покупки считать и сколько ждать результата?
До отправки запишите целевое действие. Для интернет-магазина это может быть оплаченный заказ, для салона — состоявшийся повторный визит. Заявка на запись и визит отвечают на разные вопросы: если цель — вернуть посетителей, одной заявки недостаточно.
Основной показатель для такой проверки — доля клиентов, которые совершили целевое действие. Разделите число покупателей в группе на число всех клиентов, которых вы изначально в неё включили. Рассчитайте показатель отдельно для рассылки и контроля. Разница покажет оценку дополнительного возврата за время теста.
Считать нужно всех участников группы рассылки, включая тех, кому сообщение не доставилось. Так вы проверите работу сценария в реальных условиях. Если оставить только получателей, которым удалось доставить сообщение, сравнение с контролем перестанет быть равным.
Заказы учитывайте во всех каналах, где можете связать покупку с участником теста. Клиент прочитал сообщение, а затем купил в торговой точке или записался по телефону — такое действие тоже относится к результату. Заказ без установленной связи с клиентом нельзя уверенно приписать ни одной группе.
Период наблюдения выбирайте по привычному циклу покупки и задавайте заранее. Предложению о ближайшей свободной записи и напоминанию о товаре с долгим сроком использования нужны разные сроки. У обеих групп должны совпадать начало и конец наблюдения, а отмены и возвраты нужно учитывать по одному правилу.
Переходы по ссылке полезны для разбора сообщения, но не заменяют покупки. Не стоит и завершать проверку сразу после удачного дня: дождитесь срока, который зафиксировали перед отправкой.
Как понять результат и перенести проверку в автоматизацию?
Если доля покупателей в группе рассылки выше, это ещё не окончательное доказательство её пользы. Посмотрите на число заказов и устойчивость разницы. Когда вывод держится на отдельной покупке, данных недостаточно для уверенного решения. Для формальной оценки неопределённости можно привлечь аналитика.
При небольшой базе повторяйте проверку на сопоставимых запусках, сохраняя правила отбора и подсчёта. Не объединяйте без разбора разные сезоны и предложения: напоминание о записи и сообщение о новой цене проверяют разные причины возврата.
Если разницы нет, проверьте доставку, уместность повода и срок отправки. Возможно, сообщение пришло раньше потребности или предложение не подошло сегменту. Следующий тест посвятите одному изменению, например моменту отправки. Так будет понятно, что именно вы проверили.
После положительного результата посмотрите на состав заказов и отмены. Рост числа покупателей сам по себе ещё не говорит, что условия предложения подходят бизнесу. Особенно это касается скидок: они меняют и поведение клиентов, и сумму, которая остаётся с продажи.
При регулярных проверках ручной таблицы становится недостаточно. Нужна связка из сегментации базы, автоматических триггеров и аналитики: система закрепляет группу за клиентом, исключает контроль из цепочки и сопоставляет покупки с участниками. Такой объём работ можно оформить как отдельную задачу по настройке возврата клиентов, с понятными правилами приёмки.
Если проверяете цепочку из нескольких сообщений, контроль исключают из всей цепочки. Если нужно оценить только дополнительное сообщение, обе группы получают предыдущие касания, а различаются лишь этим шагом. Это два разных теста, и их цель нужно выбрать до настройки отправок.
Типичные ошибки при проверке возврата клиентов
- Сравнивать выручку до и после отправки. На неё влияют сезон, ассортимент и другие действия бизнеса. Одновременный контроль помогает отделить их от проверяемой рассылки.
- Отправить контрольной группе то же предложение через другой канал. Тогда тест сравнит варианты контакта, хотя изначально вы хотели проверить наличие сообщения.
- Считать только заказы по промокоду. Покупатель может забыть код или оформить заказ другим способом, поэтому нужен учёт покупок по участникам теста.
- Менять состав групп после старта. Покупку участника контроля нужно записать в результат контроля, даже если теперь клиенту подходит другой сегмент.
- Объявлять победу по малому числу заказов. Зафиксируйте результат как предварительный и повторите проверку, прежде чем расширять рассылку.
Отдельно проверьте соседние кампании. Например, если одновременно идёт возврат клиентов после повышения цен, запишите, кто получил эти сообщения. Условия для обеих групп должны оставаться сопоставимыми; иначе в результате смешается влияние нескольких предложений.
Начните с короткой записи в рабочем документе: «Проверяем, увеличивает ли это сообщение долю повторных покупателей». Допишите рядом целевое действие и сегмент клиентов — это следующий шаг, который займёт меньше двух минут.
