A/B-тестирование в маркетинге: как тестировать, чтобы результат был настоящим

A/B-тест показывает две версии чего-то сопоставимым группам людей и измеряет, какая приносит больше нужного результата. Звучит просто. Но большинство тестов всё равно заканчивается «победителем», который является просто случайностью.

Что тестировать первым

Тестируйте то, что меняет решение купить, а не цвет кнопки:

• Предложение: бесплатная доставка или скидка, комплект или один товар, пробная версия или цена на первый заказ.
• Главный посыл в объявлении и на первом экране лендинга.
• Формат креатива: видео или изображение, товар в использовании или сам товар.
• Целевую страницу: страница товара или отдельный лендинг.
• Форму или оформление: меньше полей, покупка без регистрации, способы оплаты.

Как провести честный тест

1. Одна гипотеза, одно изменение. «Срок доставки в объявлении повысит конверсию» — это гипотеза. Изменить пять вещей сразу — не тест.
2. Метрику выберите до старта: покупки или заявки, а не клики. Версия может выиграть по кликам и проиграть по продажам.
3. Делите трафик случайно и одновременно. Сравнение этой недели с прошлой — не A/B-тест; меняются сезон, цены и конкуренты.
4. Дайте тесту идти достаточно долго. Минимум полную неделю, чтобы охватить будни и выходные, и пока каждая версия не наберёт осмысленное количество конверсий. При нескольких конверсиях любая разница — случайность.
5. Не останавливайте досрочно только потому, что одна версия ведёт после двух дней. Ранний отрыв часто исчезает.

Инструменты

• Meta: встроенный A/B-тест (эксперименты) правильно делит аудитории.
• Google Ads: эксперименты для кампаний и варианты объявлений.
• Сайт: инструменты, которые делят посетителей между двумя версиями страницы, или простое разделение на сервере, если разработчики могут это сделать.

Ошибки, которые создают ложных победителей

• Слишком мало данных. На малых числах разница в 20–30 % появляется чисто случайно.
• Подглядывание и остановка, как только результат выглядит хорошо.
• Неправильная метрика, например CTR.
• Платформа во время теста отдаёт больше бюджета одной версии, и это уже не честное разделение.
• Тесты нигде не записаны. Ведите простой журнал: гипотеза, даты, результат, решение. Это не даст повторить тот же тест через год.

Что делать с результатом

Оставьте победителя, запишите, почему, по-вашему, он выиграл, и используйте это в следующем тесте. Хорошая программа тестов — это серия маленьких записанных шагов, где каждый опирается на предыдущий.

Тесты — часть нашей ежемесячной работы с клиентами; смотрите Growth partner.