Простыми словами
A/B-тест — эксперимент, в котором аудиторию случайным образом делят на две группы. Группа A видит текущую версию, группа B — изменённую. Затем сравнивают выбранный показатель: конверсию в заявку, число кликов, открытия письма.
Важное условие — менять одну вещь. Если вы одновременно поменяли заголовок, цвет кнопки и цены, вы не узнаете, что именно повлияло. Поэтому сильные гипотезы формулируют так: «если сделать заголовок конкретнее, заявок станет больше».
Как это работает
Для запуска используют сервисы тестирования или встроенные функции рекламных систем. Они делят трафик, фиксируют результаты и сообщают статистическую значимость — вероятность, что разница не случайна. Для надёжного вывода нужны сотни конверсий в каждой группе.
Эксперимент должен идти полные недели, чтобы учесть различия дней, и завершаться только после набора заранее нужного объёма данных. Остановка в тот момент, когда один вариант «вырвался вперёд», — частая причина ложных побед.
Зачем это владельцу бизнеса
Тесты защищают от субъективных решений. Дизайнер уверен в одном варианте, владелец — в другом, а клиенты голосуют кликами. Один удачный тест иногда приносит больше, чем месяц рекламы.
Но при малом трафике тестировать нечего: на сайте с двадцатью заявками в месяц результат будет шумом. В такой ситуации лучше опираться на здравый смысл, отзывы клиентов и записи поведения посетителей.
Пример из практики
Интернет-магазин косметики из Алматы сравнил две карточки: с кнопкой «Купить» и с кнопкой «В корзину — доставка завтра». Через три недели и несколько тысяч визитов второй вариант принёс больше добавлений в корзину, и его оставили основным.
Частые ошибки
- Останавливать тест через два дня на малых данных
- Менять сразу много элементов
- Тестировать на малом трафике и верить результату
- Не заранее определять показатель успеха
- Запускать тест в аномальный период — праздник, распродажу