Зачем нужно Сплит-тестирование?

В индустрии интернет-маркетинга правила, по которым создаются сайты, часто называют «best practices». Начиная от общепринятых элементов, такие как вертикальное меню слева, логотип в левом верхнем углу страницы, к которым привык весь мир, заканчивая незаметными на фоне общей картины мелочами, которые расположил так, а не иначе, создатель системы управления сайтом или неизвестный дизайнер.

Правила делают работу людей легче, и если вы все сделали по правилам, а результата нет, или, хуже – он отрицательный, то, скорее всего, дело не в вас. По крайней мере, так привыкли думать люди. Правда состоит в том, что для каждого сайта существует своя оптимальная стратегия, которая будет работать именно для него и ни для кого другого.

Для выработки наилучшей стратегии используется сплит-тестирование. О том что это такое, и почему вы теряете огромные деньги, если не пользуетесь этим, я и хочу рассказать.

Не поймите меня неправильно, я не призываю делать вертикальное меню в середины страницы, а основную навигацию опускать в «подвал» сайта, где ее никто не найдет. Следовать «неписанным правилам» расположения элементов страницы необходимо. Важно понять, что это не священная корова, к которой нельзя притрагиваться, а лишь отправная точка для непрерывного процесса работы по улучшению сайта.

Главное – выполнение задач сайта

У каждого сайта есть свои задачи. Важно осознать, что у каждого элемента вашего сайта есть только одна роль: он должен подталкивать ваших посетителей вперед по туннелю конверсии сайта. Даже маленькая кнопка «добавить в корзину» может стать большим препятствием на пути посетителя, а вы об этом и не узнаете, пока не начнете применять сплит-тестирование.

Системы не делают ошибок

Системы не делают ошибок, а люди, которые их проектируют – еще как делают. Задача интернет-маркетолога – создать систему, которая отвечает потребностям его аудитории. Можно сколько угодно строить предположения и остаться ни с чем. Сплит-тестирование позволяет по-настоящему «услышать» посетителей вашего сайта.

Как работает Сплит-тестирование

Это невероятно просто:

  • Вы выдвигаете гипотезу, например, о том, что на странице «А» кнопка «Добавить в корзину» слишком маленькая;
  • Создается новая страница «Б» – копия «А», но кнопка «Добавить в корзину» – больше и ярче;
  • Все посетители сайта случайным образом делятся на две равные группы, одной группе показывается исходный вариант, вторая группа видит вариант страницы с новой кнопкой.
  • Одновременно измеряется конверсия для обоих страниц. В данном случае конверсия – нажатие на кнопку «Добавить в корзину».
  • По достижении нужного количества испытаний определяется победивший вариант.

Какая кнопка будет работать лучше? Больше не нужно гадать, решать это теперь будут посетители!

Последствия

Представьте, что на новую кнопку «Подтвердить заказ» нажимают на 10% раз чаще. Чем это грозит? 10% ростом прибыли, которую вы будете получать очень долгое время!

Что будет, если на новый вариант этой кнопки нажимают на 10% меньше? Вы потеряете 5% прибыли на время тестирования. Неприятно, но с учетом того, что возможные выгоды уходят в бесконечность (5% потерь на две недели или 10% выгоды в течение многих лет) – риск вполне оправдан. Подробнее о рисках.

Риски сплит-тестирования

Всегда существует риск получить неверные данные. Например, вы провели удачную кампанию в социальных сетях и на ваш сайт ринулись покупатели. Такой локальный всплеск может исказить картину тестирования и в выигрыше может оказаться заведомо более слабый вариант.

Чтобы минимизировать этот риск, тестирование нужно проводить продолжительное время. Я рекомендую тратить на 1 тест не менее трех недель.

Следующий риск – статистически недостоверные данные. Здесь на сцену выходит математическая статистика. Вероятность победы одного из вариантов тестирования можно и обязательно нужно выражать в числах. Поясню на примере:

Каждый из двух тестируемых вариантов посмотрели 1000 человек. Целевое действие (например, загрузка прайс листа) на первой странице было произведено 60 раз, на второй – 70 раз. Вторая страница выйграла? Нет!

Дело в том, что с точки зрения математической статистики, конверсии страниц не 6% и 7% соответственно. На самом деле истинное значение конверсии в данном случае для первой страницы лежит в диапазоне от 4,5% до 7,5%, для второй – от 5,4% до 8,6%. На самом деле, конверсия первой страницы может быть 7,5%, а второй – 5,4%. При тестировании всегда нужно достигать статистической достоверности победы одного варианта над другим.

Третий риск – не получить никакого результата. Это возможно. Тестирование может показать, что оба варианта работают одинаково. Главное помнить: нулевой результат тестирования – это хороший результат. Это на практике доказанное опровержение гипотезы и инвестиции в опыт интернет-маркетолога. Накапливая экспертизу в области тестирования нулевых результатов будет все меньше.

Последний риск – получить отрицательные результаты. О нем я говорил выше. Он есть всегда, и всегда он оправдан. Его минимизация достигается за счет постоянного мониторинга эксперимента. Как только становится ясно, что новый вариант значительно уступает – тестирование прекращается, выдвигается новая гипотеза и процесс повторяется.

Вместо эпилога

Сплит-тестирование, оно же А/Б-тестирование, не ограничивается двумя вариантами для одновременного теста. Именно по этому, его часто называют A/B/N-тестирование, копий страниц может быть сколько угодно.
Более того – в пределах одной страницы можно одновременно тестировать несколько вариантов комбинаций элементов (3 версии заголовка, 5 вариантов шрифта, 4 размера изображения и так далее). Такое тестирования называют «мультивариантным».

О том, какие элементы страницы стоит подвергать тестам, а так же об успешных кейсах А/Б-тестирования читайте в рубрике «Сплит-тестирование».

Мне важно ваше мнение!

Показалась ли вам интересной эта статья?
Это действительно важно для меня, спасибо за ваш ответ!

Спасибо!
Лайкни меня на Facebook!

Если Вам понравилась эта статья, пожалуйста, нажмите одну их этих кнопок:
  • http://www.facebook.com/people/Илья-Коротаев/100000092124206 Илья Коротаев

    требуется или раскрытие темы почему на основе математической статистики получили не 6% и7% или ссылка

    • http://www.facebook.com/people/Nikolay-Khlebinsky/100001010842245 Nikolay Khlebinsky

      Попытаюсь объяснить «на пальцах». Если произошло одно событие, вы не можете быть на 100% уверены в том, что это событие произойдет снова.

      Если вы 1000 раз подкинете монетку и 60 раз она упадет орлом вверх — это не значит, что вы получите такой же результат на следующей тысяче. Если ввести понятие стандартного отклонение (которое в этом случае будет равно 0,75%), то можно вычислить распределение плотности конверсии. Для этого примера, конверсия с вероятностью 95% будет находится в интервале от 4,76 до 7,24%. Таким образом, если вы подкинули монетку 1000 раз и 60 раз получили орла, можно сказать, что с вероятностью 95% на следующей тысяче количество орлов будет в интервале от 47 до 72.

      Если вам действительно интересна эта тема, советую освежить в памяти базовые принципы математической статистики.

      • Денис Фёдоров

        Умник)) 1000 раз подкинули монетку, и 60 раз выпал «орёл», значит 940 раз выпала «решка». СилёёёёН математик)

        Откуда взяли отклонение в 1,24% для 6% конверсии?