A/B-тестирование SMS помогает выбрать сообщение по реальному отклику клиентов, а не по мнению маркетолога. Для этого одной части похожей аудитории отправляют вариант A, другой — вариант B, затем сравнивают целевое действие: переход, запись, заказ или ответ. В статье разберём, как выбрать гипотезу, разделить базу, определить метрику и внедрить победивший вариант в следующую рассылку.
Что сравнивают в A/B-тесте SMS?
A/B-тест — это сравнение двух версий одного сообщения. Варианты должны отличаться одним существенным элементом, иначе результат будет трудно объяснить. Например, в SMS можно проверить текст призыва к действию, размер скидки, время отправки или имя отправителя.
Для малого бизнеса полезно начинать с переменной, которая напрямую связана с целью кампании. Если нужно увеличить число записей, сравните два призыва: «Запишитесь до пятницы» и «Выберите удобное время». Если задача — вернуть покупателей, проверьте разные формулировки предложения. Подробные принципы подготовки текста разобраны в материале как написать SMS, чтобы клиент сделал следующий шаг.
| Что тестировать | Пример варианта A | Пример варианта B | Что измерять |
|---|---|---|---|
| Призыв к действию | «Закажите сегодня» | «Забронируйте товар» | Заказы или бронирования |
| Время отправки | Утро | Вечер | Переходы и целевые действия |
| Предложение | Скидка на одну услугу | Бонус к заказу | Записи или покупки |
| Длина текста | Короткое SMS | Сообщение с пояснением | Ответы и переходы |
Не стоит одновременно менять текст, время и сегмент. Если вариант B даст больше заказов, вы не узнаете, что именно повлияло на результат. Один тест — одна основная гипотеза.
Как сформулировать гипотезу и цель рассылки?
Гипотеза должна объяснять, почему новая версия может сработать лучше. Формулировка «короткое сообщение повысит отклик» слишком общая. Практичнее записать её так: «Если убрать первое предложение и оставить выгоду с призывом, клиенты чаще перейдут по ссылке».
До отправки определите одно главное целевое действие. Для интернет-магазина это заказ, для салона — запись, для сервиса — ответ на сообщение или переход к форме. Доставленные SMS сами по себе не показывают эффективность текста: они говорят только о том, что сообщение дошло до телефона.
Дополнительные показатели тоже полезны. Например, можно посмотреть количество переходов, ответов, заказов и отказов от дальнейших сообщений. Но итоговое решение лучше принимать по метрике, связанной с задачей бизнеса, а не по самому высокому числу кликов.
Как разделить аудиторию для честного сравнения?
Варианты A и B отправляют клиентам из одного и того же сегмента. Если вариант A получат постоянные покупатели, а вариант B — люди, которые давно ничего не заказывали, сравнение окажется неточным. Сегментация по давности покупки, интересу к категории или истории записи помогает избежать такого перекоса. Практические варианты групп собраны в руководстве о том, как сегментировать базу для SMS и Viber.
Не включайте в тест слишком разные группы: клиентов из разных городов, с разной историей покупок или разным интересом к продукту. Если аудитория небольшая, зафиксируйте хотя бы один общий признак для обеих частей. Например, отправьте оба варианта клиентам, которые покупали одну категорию за последние месяцы.
Размер групп должен быть достаточным для сравнения. При небольшой базе разница в несколько действий может появиться случайно, поэтому не делайте вывод после первых минут. Сначала дождитесь завершения выбранного периода, затем сопоставьте результаты в одинаковом временном окне.
Как провести тест и выбрать победителя?
Сначала подготовьте две версии сообщения и проверьте их на ошибочные ссылки, переменные и длину. Кириллица влияет на техническую длину SMS: при использовании UCS-2 одно сообщение может вмещать меньше символов, а длинный текст разбивается на несколько частей. Поэтому при тестировании текста учитывайте не только содержание, но и количество отправленных SMS.
- Определите одну гипотезу и целевое действие.
- Сформируйте похожий сегмент клиентов и разделите его на две группы.
- Отправьте вариант A одной группе, вариант B другой.
- Зафиксируйте одинаковый период измерения и сравните целевые действия.
- Выберите вариант с лучшим результатом и используйте его в основной кампании.
Если тестируете время отправки, не меняйте одновременно текст. Если сравниваете призыв, отправляйте оба варианта в близкое время, чтобы на результат не повлияли день недели или изменение спроса. Для регулярных кампаний удобно хранить историю тестов: гипотезу, сегмент, дату, версии текста и итог.
Ориентир «отклик может вырасти до 30%» встречается в материалах о A/B-тестах SMS, но это не универсальная гарантия: результат зависит от сегмента, предложения, времени и качества базы (SMSblog.ru). Для бизнеса в Беларуси разумнее считать собственную динамику по одинаковым кампаниям.
Какие ошибки чаще всего портят A/B-тест?
- В вариантах одновременно меняют несколько элементов, поэтому победителя нельзя объяснить.
- Сравнивают группы с разной историей покупок или разной активностью.
- Выбирают победителя по доставке, хотя бизнесу нужны заказы, записи или ответы.
- Останавливают тест слишком рано, когда накопилось мало целевых действий.
- Не учитывают длину кириллического текста и стоимость нескольких частей SMS.
- Повторяют один и тот же вариант без записи результата и снова принимают решение «на глаз».
3 шага, которые можно сделать на этой неделе:
- Выберите одну рассылку и сформулируйте гипотезу в одном предложении.
- Подготовьте два текста, меняя только призыв или один другой элемент.
- Отправьте версии сопоставимым сегментам, сравните целевые действия и сохраните победивший вариант для следующей кампании.
Платформа SMS- и Viber-рассылок позволяет запускать такие проверки в рабочем процессе: разделять аудиторию, отправлять разные варианты, отслеживать результаты и связывать кампании с CRM. Поэтому A/B-тест становится частью регулярной аналитики, а не разовой проверкой текста перед отправкой.