A/B-тестирование помогает сравнить два варианта SMS- или Viber-сообщения и понять, какой лучше поддерживает выбранную бизнес-цель. Для малого и среднего бизнеса в Беларуси такой подход можно использовать в кафе, салонах, интернет-магазинах и сервисных компаниях. Чтобы результат было проще интерпретировать, заранее определите метрику, сравнивайте сопоставимые группы клиентов и меняйте за один тест только один элемент сообщения.
1. Выберите цель и измеримый показатель
Сначала решите, какой результат должен улучшиться. Это может быть доля переходов по ссылке, количество бронирований или сумма продаж на 100 отправленных сообщений. Выберите один главный показатель: если одновременно оценивать несколько целей, будет сложнее понять, какой вариант действительно оказался эффективнее.
Например, кафе в Минске хочет увеличить число бронирований на обед в будние дни. В качестве основной метрики оно выбирает количество бронирований и ставит цель проверить, удастся ли поднять этот показатель на 12% за неделю. Это пример постановки задачи, а не обещание результата: эффект нужно измерить после отправки.
До начала теста зафиксируйте исходный уровень выбранной метрики. Для этого можно взять сопоставимые данные за предыдущую неделю. Затем используйте тот же способ подсчёта для обоих вариантов и сравните полученные значения. Так вы будете оценивать изменение относительно базы, а не полагаться на впечатление от текста.
2. Сформулируйте гипотезу и подготовьте варианты
Гипотеза должна объяснять, что именно вы меняете и какого эффекта ожидаете. Например: «Если изменить призыв к действию, доля кликов увеличится». Для первого теста подготовьте два варианта сообщения и, если это уместно, контрольную группу, которая не получает тестовое предложение.
Интернет-магазин в Гомеле может сравнить в Viber два призыва: «Получить скидку 10%» и «Купить со скидкой 10%». Остальной текст сообщения при этом оставляют одинаковым. Тогда разница в отклике будет связана прежде всего с формулировкой призыва, а не с одновременной заменой нескольких элементов.
За один тест меняйте только одну характеристику: заголовок, основной текст, кнопку или время отправки. Если одновременно изменить и предложение, и аудиторию, и расписание, результат не покажет, какой фактор повлиял на показатель. После проверки одной гипотезы можно отдельно подготовить следующий тест.
3. Разделите аудиторию и продумайте выборку
До отправки определите, кого именно будете сравнивать. Для этого можно разделить клиентов по их взаимодействию с бизнесом: например, выделить активных покупателей, клиентов, которые давно не обращались, и новых подписчиков. Сравнение подходящих групп помогает увидеть, одинаково ли сообщение работает для разных сегментов.
Например, салон красоты в Барановичах располагает базой из 800 клиентов. Он разделяет её на 200 активных и 600 неактивных и сначала проверяет варианты на активной группе, а затем — на неактивной. Это позволяет не смешивать результаты разных сегментов в один показатель.
Для выбора групп можно использовать RFM-логику. Подробнее о ней рассказывает материал о RFM-сегментации для повторных продаж. Если база небольшая, для предварительной проверки можно взять 15–30% аудитории, а после первичного сравнения увеличить выборку и проверить результат на более широкой группе. Маленькая выборка может не дать достаточно уверенной основы для вывода, поэтому не стоит считать первое отличие окончательным доказательством.
Группы должны быть сопоставимы по выбранному признаку. Если один вариант отправить только активным клиентам, а другой — только неактивным, будет трудно отделить влияние сообщения от различий между самими группами. Запишите, кого включили в каждую часть теста, чтобы при анализе не потерять контекст.
4. Выберите время отправки и учитывайте внешние условия
Время отправки может влиять на то, когда получатель увидит сообщение и сможет перейти по ссылке или записаться. Планируя рассылку, учитывайте сценарий бизнеса, день недели и особенности целевой аудитории. Если время само является предметом проверки, сравнивайте его отдельно от текста и других характеристик.
Например, автосервис в Могилёве может проверить SMS-напоминание о записи: один вариант отправить в понедельник утром, другой — в пятницу вечером. Затем следует сравнить записи на следующую неделю, используя одинаковый способ подсчёта для обеих групп. Важно не приписывать разницу времени, если вместе с ним менялись другие элементы сообщения.
При выборе расписания можно обратиться к материалу о лучшем времени для SMS и Viber. Не планируйте сравнение на период, когда праздники или массовые распродажи могут заметно изменить поведение клиентов: такие обстоятельства способны повлиять на результат и затруднить выводы. Если перенести тест нельзя, зафиксируйте это условие и учитывайте его при интерпретации данных.
5. Соберите показатели и сравните результат
После отправки запишите данные отдельно для каждого варианта и сегмента. В зависимости от канала и сценария это могут быть показатели доставки, открытия в Viber, переходов по ссылкам и целевых действий — например, бронирований или покупок. Сравнение имеет смысл только при одинаковых правилах сбора данных.
Мини-отель в Витебске может проверить два варианта SMS для подтверждения бронирования. Если каждому варианту назначить свой промокод, будет проще связать ответ клиента с конкретной отправкой и посчитать бронирования и доход. Для других сценариев можно использовать разные кнопки или ссылки, если они подходят для выбранного канала и не меняют проверяемое предложение.
Результаты удобно свести в простую таблицу: указать вариант сообщения, размер группы, число целевых действий и доход, если он учитывается. Для оценки можно воспользоваться калькулятором статистической значимости или вручную сравнить разницу в процентах и доход на 100 отправленных сообщений. Само по себе небольшое отличие ещё не означает, что один вариант надёжно лучше: учитывайте объём выборки и условия проведения теста.
Короткий цикл проверки
- Запустите два варианта и, если предусмотрено планом, контрольную группу. Для предварительного теста можно использовать 10–30% аудитории.
- Собирайте данные 3–7 дней, соотнося продолжительность со сценарием рассылки.
- Сравните основную метрику и, если это важно для задачи, доход на получателя.
Ошибки, которые мешают сделать вывод
- Одновременное изменение нескольких элементов. В этом случае непонятно, что именно повлияло на результат.
- Слишком маленькая выборка. Различие может оказаться недостаточным для уверенного решения.
- Проведение теста во время праздника или массовой акции без учёта влияния этого периода.
- Смешивание сегментов. Сообщение может по-разному работать для активных и неактивных клиентов.
- Остановка после первого удачного результата без дополнительной проверки на большей выборке.
Если отправки и ответы клиентов нужно учитывать в одной системе, может пригодиться руководство по интеграции SMS и Viber с CRM. А расписание рассылки можно сверить с материалом о лучшем времени для SMS и Viber. Эти материалы дополняют методику: один помогает продумать тайминг, другой — организовать учёт.
Что подготовить перед запуском
- Запишите одну бизнес-цель и соответствующую ей метрику.
- Подготовьте контроль и один вариант сообщения с единственным изменением.
- Определите сегмент, размер тестовой группы и способ связать отклик с вариантом.
- Зафиксируйте исходный уровень показателя и период сбора данных.
- После анализа решите, нужно ли расширить тест на всю подходящую аудиторию.
На ближайшем этапе достаточно выбрать цель, подготовить два сопоставимых варианта и запустить тест на части базы. Соберите результаты за выбранный период, сравните их по одной главной метрике и только затем решайте, стоит ли масштабировать рассылку. Такой порядок помогает отличить проверяемый результат от догадки и сохраняет возможность понять, что именно сработало.
