Большинство решений по оптимизации лендингов принимаются на основе интуиции: «мне кажется, зелёная кнопка лучше синей», «давайте добавим видео». Иногда угадывают, чаще - нет. А/Б тестирование заменяет догадки данными. Но даже те, кто тестирует, нередко делают это неправильно и получают ложные результаты. Разбираем, как делать A/Б тесты, которым можно доверять.

Что такое A/Б тест и как он работает

A/Б тест (сплит-тест) - метод сравнения двух версий страницы (или элемента) для определения, какая конвертирует лучше. Половина трафика видит версию A (контроль), половина - версию B (изменение). После сбора достаточного количества данных определяем победителя.

Принципиальное требование: изменение должно быть одно. Если одновременно поменять заголовок, цвет кнопки и фото - нельзя понять, что именно дало результат. Это называется многомерным тестом (MVT) и требует значительно большего объёма трафика.

Что тестировать в первую очередь

Гипотезы нужно приоритизировать по двум параметрам: потенциальное влияние на конверсию и простота реализации теста.

Высокий приоритет:

  1. Заголовок H1 - самое большое влияние, относительно просто реализовать. Разные формулировки оффера, акцент на разные выгоды.

  2. Текст CTA-кнопки - «Получить расчёт» vs «Узнать стоимость». Просто, быстро, потенциал 10-40%.

  3. Количество полей в форме - 2 поля vs 4 поля. Влияние измеримо и часто значительное.

  4. Оффер целиком - тест разных ценностных предложений. Высокий потенциал, но требует больше трафика для статистики.

Средний приоритет:

  1. Социальные доказательства - с отзывами vs без отзывов, или разные форматы отзывов.

  2. Изображение на первом экране - реальное фото vs стоковое, фото продукта vs фото результата.

  3. Наличие/отсутствие видео - видео о компании vs текстовый контент.

Низкий приоритет (только после оффера и формы):

  1. Цвет кнопки
  2. Расположение элементов
  3. Шрифт и размер текста

Статистическая значимость: когда останавливать тест

Это самая частая ошибка в A/Б тестировании. Тест запускают, видят что версия B лучше на 20%, останавливают через 3 дня с 50 конверсиями. Внедряют изменение - и ничего не происходит.

Почему? Потому что 50 конверсий недостаточно. Результат случаен, статистически незначим.

Минимальные требования для надёжного A/Б теста: - 100 конверсий на каждый вариант (итого 200+) - Тест длится минимум 1-2 полных недели (чтобы учесть дни недели) - Уровень статистической значимости 95% (p-value < 0.05)

Для расчёта необходимого объёма выборки используйте онлайн-калькуляторы: Evan Miller Sample Size Calculator, AB Testguide, или Optimizely Sample Size Tool.

Пример расчёта: - Текущая конверсия: 3% - Минимальный ощутимый эффект: 20% (хотим увидеть рост с 3% до 3,6%) - Для 95% значимости нужно: ~3 800 посетителей на каждый вариант (итого ~7 600) - При 500 визитах в день: тест займёт ~15 дней

При трафике 100 визитов в день тот же тест займёт 75 дней. Это реальность, с которой нужно мириться: без трафика A/Б тесты не работают.

Инструменты для A/Б тестирования в России

Тильда - встроенный A/Б тест для блоков. Просто: выбираете блок, создаёте вариант B, указываете распределение трафика. Аналитика прямо в интерфейсе. Подходит для большинства задач.

VWO (Visual Website Optimizer) - мощный инструмент, есть бесплатный тариф. Интеграция с Яндекс Метрикой. Позволяет менять любые элементы без правки кода через визуальный редактор.

Google Optimize - был бесплатным инструментом Google, но закрыт в 2023 году. Ищите альтернативы: Optimizely, AB Tasty.

Яндекс.Эксперименты - функция в Яндекс Метрике. Позволяет делить трафик между двумя URL. Подходит для тестирования целых страниц, а не отдельных элементов.

Самописное решение - для разработчиков: JavaScript, который по cookie показывает разные варианты страниц. Требует программиста, но бесплатно.

Частые ошибки в A/Б тестировании

Ошибка 1: «Пик» наблюдателя Вы смотрите на тест каждый день и останавливаете его, как только видите нужный результат. Это называется «peek problem». Нужно определить размер выборки ДО запуска и останавливать только после его достижения.

Ошибка 2: Тест в «неправильное» время Если тест захватывает праздники, акции или сезонные всплески - результаты искажены. Покупательское поведение в майские праздники отличается от обычных будней.

Ошибка 3: Тестировать несколько гипотез одновременно Два разных теста на одной странице в одно время - взаимное влияние. Тестируйте последовательно.

Ошибка 4: Не учитывать взаимодействие элементов Изменение кнопки может по-разному работать с разными вариантами заголовка. Изолированные тесты дают локально верный, но иногда глобально неверный результат.

Ошибка 5: Останавливать проигрывающую версию рано «Версия B явно проигрывает, зачем продолжать?» - Иногда результаты разворачиваются. Нужна достаточная выборка.

Ошибка 6: Тестировать «по интуиции» без гипотезы A/Б тест без гипотезы - это просто случайные изменения. Сначала формулируйте: «Мы предполагаем, что изменение X приведёт к результату Y, потому что Z».

Как организовать процесс тестирования

Профессиональный CRO-процесс выглядит так:

  1. Сбор данных - тепловые карты, вебвизор, аналитика воронки, качественные исследования (опросы пользователей)
  2. Формулировка гипотезы - что изменяем, почему, ожидаемый эффект
  3. Расчёт выборки - сколько трафика и времени нужно
  4. Запуск теста - одна переменная, корректное разделение трафика
  5. Ожидание - без преждевременных остановок
  6. Анализ результатов - статистическая значимость, сегментация (мобильные vs десктоп)
  7. Внедрение или отказ - победителя внедряем, проигравшего анализируем (что узнали?)
  8. Следующая гипотеза - оптимизация непрерывна

Заключение

A/Б тестирование - единственный надёжный способ принимать решения по оптимизации лендинга. Интуиция обманывает. Данные - нет (при соблюдении методологии).

Ключевые принципы: - Тестируйте одну переменную за раз - Рассчитывайте необходимый объём выборки до запуска - Не останавливайте тест раньше времени - Начинайте с элементов с высоким потенциалом: оффер, форма, заголовок - Формулируйте гипотезу перед тестом, а не ищите объяснение результату после

При 3 000 визитов в месяц реально проводить 1-2 теста в месяц. При 300 визитах - тестирование малоэффективно: лучше сосредоточиться на улучшении трафика.