Обычно компания показывает одной части аудитории вариант A, а другой вариант B, после чего сравнивает выбранный показатель. Это может быть заявка, покупка, переход или другое заранее определенное действие.

Сам факт, что один вариант собрал больше откликов, еще не доказывает его превосходство. Нужно проверить статистическую значимость и понять, достаточно ли данных для сравнения. Маленькая выборка легко превращает случайное колебание в повод срочно менять страницу.

До запуска собственнику стоит определить одну проверяемую гипотезу, основной показатель и период наблюдения. Одновременная замена заголовка, кнопки и цены затрудняет понимание причины результата. Тестирование нескольких элементов сразу возможно, но тогда нужны иная методика, больше данных и аккуратная интерпретация.

A/B тест часто путают с простым сравнением показателей «до и после». В таком сравнении на результат влияют сезонность, рекламный канал, состав аудитории и другие изменения. Еще одно близкое понятие - многовариантный тест, где одновременно сравнивают больше двух вариантов.

По мнению Андрея Волкова, цифра без проверки условий ее получения может создать иллюзию контроля. Иногда компания долго тестирует цвет кнопки, хотя настоящая проблема находится в предложении, цене или процессе продаж.

Компания сравнивает два заголовка посадочной страницы. Один вариант получает больше заявок, но его показывали аудитории из другого рекламного канала. Такой результат нельзя уверенно объяснить только заголовком. Сначала нужно выровнять условия сравнения, определить достаточный объем данных и лишь затем принимать решение.