Процедура А/Б тестирования направлена на сравнение нескольких рекламных стратегий и повышение результативности работы интернет-ресурсов.
Исследование позволяет подобрать оптимальное соотношение графической и текстовой информации и сформулировать заголовки, подталкивающие посетителей продолжить работу с сайтом. На основе анализа предпочтений потенциальных клиентов улучшаются алгоритмы поиска информации, что повышает эффективность рекламной кампании.
Что такое и кому необходимо сплит-тестирование
Тест А/Б или методика раздельного тестирования (от английского термина split testing) направлен на сравнительную оценку результативности работы 2 страниц и выяснение эффекта от внесения изменений в дизайн или содержимое сайта. Методика определяет предпочтения целевой аудитории и повышает прибыльность проекта.
Например, маркетолог предполагает, что изменение цветового фона кнопок в поле посадочной страницы автоматически увеличивает конверсию на 50%, для проверки гипотезы проводится тест А/Б страниц с разным визуальным оформлением и содержанием.
Технологию сплит-тестирования используют:
- продакт-менеджеры или руководители проектов, которые сравнивают созданные ценовые модели, выбирая предпочтительную методику работы;
- маркетологи, проверяющие результативность разработанных рекламных кампаний;
- дизайнеры продукта, тестирующие разные варианты оформления страниц.
Ожидаемые результаты a/b тестов
Проведение А/Б тестирования направлено на оценку:
- изменения конверсии клиентов;
- эффективности работы коллтрекинга;
- поведения кривой значения суммы среднего чека;
- поведенческих факторов потенциальных или действующих клиентов.
Полученные результаты используются владельцем информационного сайта или интернет-магазина для оценки эффективности внедренных изменений. Рекомендуется проверять несколько факторов, что снижает воздействие случайных влияний.
Для повышения точности замеров в программном обеспечении для А/Б тестов используются фильтры, которые настраивает пользователь перед началом сравнения.
Увеличение конверсии
Под термином конверсия в системе продаж и маркетинга подразумевается количество посетителей сайта или магазина, совершивших требуемое действие (например, оплату отложенного в корзину товара или заказ предлагаемой услуги).
На информационных сайтах конверсией является регистрация пользователя или оформление подписки на новости или иную рассылку, содержащую рекламный контент.
Коллтрекинг
Сравнение технологий обзвона потенциальных клиентов (коллтрекинг) определяет направления, приносящие прибыль (с одновременным выяснением рекламы, не отрабатывающей вложенные средства).
Дополнительно проводится выборочное прослушивание записанных звонков, позволяющее понять реакцию клиентов на предложение приобрести товары или услуги.
Повышение среднего чека
При совершении сделки клиент оплачивает выбранные товары или услуги, владелец торговой площадки ведет статистику, позволяющую рассчитать среднее значение чека. Например, после сравнения параметров сайта с разными вариантами оформления делается вывод о целесообразности модернизации.
Одновременно следует учитывать, что рекламная кампания может снизить значение суммы в чеке с одновременным ростом клиентов. Поэтому одновременно с тестированием средней суммы необходимо сравнивать общий объем продаж и полученную прибыль.
Поведенческие факторы
Поведенческим фактором при работе человека с информационным порталом является время, проведенное на сайте, или глубина просмотра, измеренная в количестве страниц.
Например, можно отслеживать количество заходов клиентов по зарегистрированной учетной записи или определять число посетителей сайта, покинувших страницу на протяжении первой минуты просмотра.
Когда сплит-тестирование не пригодится
Методика сравнительного анализа А/Б не применяется в случаях:
- отсутствия понимания механизма работы (например, начинающие бизнесмены не обладают должными навыками);
- неравномерного или непригодного для статистической оценки конверсионного потока;
- отсутствия четко сформулированных задач и целей тестирования (например, если человек не в состоянии разработать гипотезы, то А/Б тест не принесет результата).
При отсутствии необходимых знаний и навыков
Если человек впервые сталкивается с необходимостью проведения процедуры анализа, то на начальном этапе необходимо ознакомится с учебными материалами (с учетом отраслевой специфики).
Полученные базовые навыки используются при тесте, но рекомендуется заказать проверку в специализированной компании, а затем сравнить результаты. При проведении тестирования без должного опыта возможно получение непредвиденных результатов, способных нанести вред бизнесу.
При отсутствии конверсионного потока
Для сравнительного анализа необходим стабильный конверсионный поток клиентов, совершающих сделки и регистрирующихся на сайте. Объем выборки обладает объемом, достаточным для проведения теста и получения корректных результатов.
Дополнительно необходимо настроить систему аналитики, в противном случае итоги теста не связанными между собой окажутся числами и процентами.
При отсутствии четкой необходимости и цели
Проведение А/Б теста предполагает разработку гипотезы, согласно которой изменение дизайна или рекламной стратегии приводит к улучшению запрограммированных показателей (например, объема продаж или количества клиентов). Аналитик должен иметь четкое представление о причинах некорректной работы элемента, который предполагается улучшить.
Если анализ проводится без постановки целей, то конечный результат носит случайный характер (например, владелец сайта может менять цветовую гамму или расположение кнопок на странице, что не увеличит прибыльность проекта).
Пошаговый алгоритм действий для подготовки к тестированию
Стандартный алгоритм проведения А/Б теста состоит из этапов:
- выяснения цели проведения тестирования;
- определения единицы измерения результатов теста (метрики);
- формирования нулевой и альтернативной гипотез, которые подтверждаются или опровергаются в ходе теста.
Постановка четких целей
На этапе постановки целей сравнительного анализа необходимо определить спектр задач, определяющих концепцию развития бизнеса. Например, для компании в стадии стартапа требуется увеличение клиентской базы, параметр можно получить увеличением числа регистраций или наращиванием количества клиентов, повторно использующих продукт предприятия.
Например, в результате анализа обнаружен уход 75% посетителей до момента регистрации, доработка страницы регистрации и сравнение результатов применяют при выработке оптимального дизайна сайта.
Определение метрики
Под понятием метрики подразумевается единица измерения сравнительного анализа. Стандартная процедура предусматривает использование коэффициента конверсии, допускается оценивать количество регистраций или объем трафика. Можно одновременно исследовать несколько параметров, анализируя влияние изменений графики сайта или ценовой политики.
Разработка гипотезы
Созданная гипотеза описывает предполагаемый результат работы, полученный после внедрения изменений. Например, владелец сайта полагает, что корректировка баннеров и цветового фона на странице регистрации привлечет дополнительных клиентов.
Причиной повышенного интереса станет улучшенное изображение продукта, подчеркивающее оригинальность концепции. При проведении анализа используют нулевую и альтернативную гипотезы, позволяющие отбросить случайные результаты и повысить точность тестирования.
Нулевая модель
Модель основана на предположении, что проекты А и Б являются идентичными, а полученная в ходе теста разница является единовременной или случайной. В ходе дальнейшей работы необходимо опровергнуть или подтвердить гипотезу.
Альтернативная
Альтернативная методика предполагает отличие проекта Б от начального А, тестирование должно подтвердить гипотезу. Владелец проекта может провести тестирование как в одном, так и в двух направлениях, определяя отрицательные и положительные факторы внедренного изменения.
Подготовка эксперимента по шагам
В рамках подготовки к тестированию необходимо:
- выделить группы людей, которые будут работать с разными модификациями сайта;
- рассчитать уровень статистической погрешности;
- выяснить минимальный порог выборки, используя готовые программные калькуляторы;
- указать период действия тестирования, рассчитанный на специальном калькуляторе;
- запустить процедуру тестирования А/Б и получить результаты для дальнейшего анализа.
Определение контрольной и экспериментальной группы
В проведении эксперимента А/Б участвуют пользователи сайта, владелец выделяет группу клиентов в пределах заданной страны или города либо тестирует изменения на всех посетителях. Группы формируют на основе типов, пола, используемого для входа на сайт оборудования или по географической локации.
Контрольная группа работает со старой генерацией сайта (вариант А), а вторая часть клиентов (экспериментальная группа) пользуется модернизированной моделью. Для обеспечения корректного результата группы получают одинаковый размер по числу пользователей.
Определение уровня статистической значимости
Под уровнем статистической значимости или погрешности подразумевается значение, указывающее на случайность обнаружения разницы между генерациями А и Б. По умолчанию параметр принимается равным 0,95 или 95%, при снижении значения возрастают риски пропуска обнаружения разницы, базирующейся на случайном стечении обстоятельств.
Определение минимального размера выборки
Для расчета объема выборки используют бесплатные калькуляторы (например, Optimizelys Stats или AB Tasty). Приложения автоматически рассчитывают размер выборки как для исходной модификации, так и для улучшенного варианта.
На объем выборки влияют дополнительные условия алгоритма тестирования и личные предпочтения владельца сайта, наращивание параметра позволяет получить результаты с повышенной статистической значимостью.
Калькуляторы Optimizelys Stats и AB Tasty
При использовании утилит Optimizelys Stats или AB Tasty необходимо ввести:
- ожидаемый коэффициент конверсии контрольной группы;
- минимальное относительное изменение коэффициента конверсии, которое предполагается обнаружить;
- статистическую значимость.
Результат рассчитывается автоматически (в зависимости от введенных значений), программа AB Tasty содержит дополнительные поля для расчета продолжительности тестирования в сутках. Оба калькулятора оснащены интерфейсом на английском языке, предусмотрены разделы помощи (текстовой или визуальной в формате видео).
Временные рамки тестирования
Для грубого определения продолжительности эксперимента необходимо разделить полученный объем выборки на ежесуточный трафик. Операция выполняется для стандартной и модернизированных генераций сайта или страницы. Стандартное тестирование занимает от 7 до 14 суток.
Калькулятор продолжительности теста
Для расчета времени может использоваться калькулятор AB Tasty, в котором указывают среднестатистическое количество посетителей в день и количество вариаций. Результат в днях выводится в прямоугольном поле, расположенном слева от ячеек для ввода данных.
Проведение эксперимента
После определения требуемых параметров и согласования данных с исполнителями запускается процесс тестирования А/Б. Если у пользователя предусмотрена закрытая площадка, то настройки предварительно проверяются на тестовом материале. В противном случае необходимо запустить процедуру с первичной проверкой результатов через 24 часа после старта, финальный отчет снимается после завершения процедуры (в рамках расчетного времени тестирования).
Инструкция по запуску а/б тестирования
Перед началом тестирования необходимо проанализировать внешний вид сайта (например, цветовой фон страниц, дизайн и расположение кнопок, тип и размер шрифтов), а затем выбрать направления модернизации. Методика сравнения А/Б предусматривает одновременное изменение 2-3 компонентов сайта.
Например, владелец может ввести дополнительные клавиши, снизить яркость фона или изменить описание и фотографии предлагаемых товаров. Первый результат теста может показать отрицательный результат, в этом случае потребуется дальнейшая доработка портала.
Составляющие сайта поддающиеся изменениям
При работе с дизайном сайтов корректировкам подвергают:
- оформление страниц и последовательность переходов между рабочими окнами по ссылкам;
- формат описания предлагаемых товаров или услуг (с приложением фотоснимков или рекламных роликов);
- визуальное оформление форм конверсии;
- доработка внешнего облика кнопок, используемых при регистрации или перемещении между страницами портала;
- текстовое или рекламные поля (например, добавление или изменение баннеров, описывающих преимущества предлагаемых на сайте товаров или услуг).
Дизайн и структура страниц
Например, на страницах с описанием характеристик товаров (лендинг) на экран выводится увеличенное рекламное изображение от производителя. Для перехода к текстовому содержимому клиенту необходимо совершить несколько движений, что может оттолкнуть часть целевой аудитории.
Применение на странице кнопок быстрого перехода упрощает процедуру работы с порталом. Недостатком является большое количество страниц с описанием преимуществ продукта или технических параметров, после которых отобразится раздел цены с кнопкой перемещения товара в корзину.
Описания услуг или товаров
При создании страницы с описанием характеристик продукта, выводимой на экран монитора или мобильного телефона, учитывают:
- взаимное положение графической информации и текстового описания;
- размер и цвет шрифта, плотность строк в описании;
- соотношение размеров фотоснимка с текстовым блоком, в котором необходимо кратко перечислить характеристики товара или продвигаемой услуги.
Дизайн форм конверсии
Конверсионное поле располагается в специально отведенной зоне на страницах портала, при оформлении учитывается размер и визуальное оформление содержимого. Например, некоторые владельцы сайтов стараются получить дополнительные данные у пользователей, регистрирующихся на портале.
В этом случае возникает риск потери части целевой аудитории, не желающей разглашать сведения. Для сайтов, продающих товары либо услуги, достаточно полей имени и фамилии клиента, а также контактной информации (например, адреса электронной почты или номера мобильного телефона).
Дизайн кнопок
При оформлении внешнего вида страниц продающих сайтов используется технология BOB (сокращение от английского термина big orange button или большая оранжевая кнопка), предусматривающая встраивание яркой клавиши, визуально отличающейся от остального фона страницы.
Заливка базового поля окна не должна заглушать цвет клавиши, но если при создании сайта необходимо использовать оранжевые или красные корпоративные цвета, то в этом случае основная кнопка имеет иной оттенок (например, взятый из галереи готовых шаблонов для тестов А/Б).
Формулировка текстов и призывов
При заполнении текстовых полей владелец портала создает описания и рекламные материалы самостоятельно или заказывает разработку материалов копирайтерам. Созданный текст должен четко указывать на преимущества товара и пользователь, переходя по ссылке, уже обладает базовыми знаниями о характеристиках продукта.
Опубликованные призывы к действиям должны состоять из 1 или 2 слов, определяющих конечный результат манипуляции (например, следует использовать призывы вида купить или оформить подписку).
При оформлении страниц сайта следует указывать дополнительные свойства или особенности предлагаемой продукции, которые способны заинтересовать потенциального клиента. Изложенные факты могут быть понятны любому человеку, но дополнительно упоминание положительно влияет на конечное решение клиента.
Например, указать на бесплатность предлагаемой рекламной или новостной рассылки или сконцентрировать внимание клиента на быстроте реакции службы поддержки.
Полезные сервисы и инструменты
Применяемые при создании сайтов программные конструкторы страниц оборудованы встроенным механизмом сравнительного теста А/Б. Пользователь может провести проверку вручную, разделяя потоки пользователей и анализируя полученные отчеты. Существуют специальные сайты, позволяющие автоматизировать процедуру сравнения страниц А/Б.
Примеры порталов, поддерживающих алгоритмы тестирования:
- optimizely.com, являющийся наиболее популярным инструментом среди пользователей, позволяет вручную настраивать параметры сравнения с визуализацией результатов;
- vwo.com, обладающий расширенным набором функций, но требующий от пользователя навыков верстки текста и изображений;
- abtasty.com, работающий совместно с аналитической системой Google Analytics;
- realroi.ru, подходящая пользователям с плохим знанием английского языка.
Итоговый анализ и возможные результаты
По окончании процесса сравнения А/Б владелец сайта может получить несколько результатов:
- преимущество старой модификации А;
- одинаковый результат;
- преимущество модернизированного варианта B.
Выигрывает А версия или между двумя вариантами нет разницы
Если тестер исключил из алгоритма сравнения причины, вызывающие недействительный или случайный результат, то равенство результатов или отставание модернизированной версии портала указывают на ошибки при улучшении дизайна или иных параметров.
В этом случае необходимо провести дополнительный анализ и определить причины некорректной работы новой генерации, а затем внести корректировки и провести повторный тест. Не исключено повторение ситуации, что требует проведения углубленного аналитического исследования причин неудачи.
Выигрывает версия В
В случае преимущества модернизированного варианта B первоначальная гипотеза о повышенной эффективности алгоритма подтверждается. Владелец сайта может провести повторное тестирование с задействованием всей имеющейся целевой аудитории, а затем начать работать с новой генерацией портала, приносящей дополнительный доход.
A/B-тестирование с помощью Google Optimize, пошаговая инструкция
Алгоритм подготовки А/Б тестирования в оболочке Google Optimize:
- Зайти на стартовую страницу сервиса Google Optimize и ввести полученные ранее логин и пароль или сформировать новую учетную запись при помощи кнопки создания аккаунта.
- Организовать контейнер для хранения результатов экспериментов (программа предлагает создание раздела автоматически). Если пользователь модернизирует несколько сайтов, то рекомендуется создавать для каждого проекта свой контейнер.
- После получения учетной записи войти в личный кабинет Google Optimize и создать новый проект (или эксперимент) при помощи кнопки с текстом начать.
- Занести в поля название опыта и адрес страницы, которая будет сравниваться с другими данными в рамках А/Б проверки. В отдельном выпадающем списке необходимо выбрать тип сравнительного анализа (например, эксперимент типа А/Б).
- Подтвердить создание проекта, а затем произвести пошаговую настройку (в соответствии с подсказками, выводимыми системой).
- Разработать экспериментальные варианты с внесение правил таргетинга, а затем скачать и установить расширение с обозначением оптимизация для браузера Google Chrome (позволяет отобразить на экране процесс внесения изменений в оформлении страниц).
- Указать ссылки на измененные страницы (после предварительного тестирования функционала) и сформировать список целевой аудитории (например, по территориальному признаку).
- Указать цели проведения эксперимента, выбрав значения из стандартного перечня или введя собственные значения, связанные с Google Analitics.
- Ввести объем трафика, который будет задействован в проведении анализа (процент зависит от количества посетителей за месяц).
- Сгенерировать код эксперимента, который вставляется в тестируемую страницу. Если пользователь испытывает затруднения с доработкой страницы, то программный код высылается веб-мастеру.
- Дождаться появления кнопки запуска проекта (до момента встраивания кода клавиша заблокирована), а затем запустить процедуру тестирования. Результаты сравнения появляются спустя 48-72 часа, отчеты формируются и хранятся в разделе, посвященном проводимому эксперименту.
Заключение
Проведенное A/B-тестирование может показать как положительный, так и отрицательный или нейтральный результаты. Вне зависимости от итогов эксперимент считается полезным для развития бизнеса, поскольку пользователь получает навыки постановки целей и проверки гипотез.
Результаты позволяют перейти к другой сфере бизнеса, имеющей потенциал оптимизации, и используются при разработке целей последующих тестов. Если пользователь не обладает навыками постановки задач и доработки HTML-кода, то рекомендуется заказать проведение тестирования в специализированной компании.