Сегодня о методике А/В тестирования знает практически каждый. Нам ежедневно предлагают десятки советов о тестировании разных оттенков кнопок, иконок корзины и т.д.
Несмотря на то, что случайное A/B тестирование может способствовать увеличению конверсии пользователей или объема скачиваний, в большинстве случаев оно не даст вам значимых результатов. Согласно AppSumo, лишь один из восьми A/B тестов оказывается эффективным.
Почему A/B тестирование оказывается провальным?
A/B тестирование часто считается неудачным по той причине, что оно не дает статистически значимых результатов.
Однако это лишь одна сторона медали.
Не менее неприятная ситуация возникает тогда, когда результаты A/B теста оказываются статистически значимыми, однако они не совпадают с тем, что вы ожидали увидеть. Получить именно те данные, которые вам необходимы, можно лишь тогда, когда тесты нацелены именно на те элементы вашего продукта, которые способны увеличить конкурентоспособность приложения и помочь вам в достижении конкретных целей.
Как этого добиться? Прежде всего, тщательно продумайте структуру A/B теста:
Определите свои цели
Очень важно помнить о бизнес-целях вашего приложения при определении ключевых параметров, которые вы планируете изменить посредством A/B тестирования. Для большинства приложений самым важным параметром является уровень конверсии пользователей.
Определите KPIs приложения
KPIs (ключевые показатели производительности) – это данные, отображающие успех вашего приложения. В рамках A/B тестирования четко определенные KPIs покажут вам, на чем лучше сконцентрировать каждый тест.
Помните, что хороший интерфейс и взаимодействие с пользователем – это ключи к успеху
Если вы тестируете случайные варианты посадочных страниц или поле отправки сообщений, очень вероятно, что ваши результаты тоже окажутся случайными, беспорядочными. Каждый вариант, который вы включаете в A/B тест, должен основываться на результатах всестороннего исследования и принципах качественного дизайна.
Когда A/B тестирование выполняется правильно
Runkeeper: Привлечение пользователей путем изменения стартового экрана
Runkeeper – это приложение для отслеживания активности пользователя, увидевшее свет в далеком 2008 году. В 2013-м разработчики решили, что изменение стартового экрана воодушевит пользователей следить за тем, как они ходят, бегают и т.д. Идея была рискованной, но она сработала: новое графическое меню воодушевило людей использовать продукт не только для бега, но и для других видов спорта.
Škoda: эксперименты со скриншотами магазина приложений
Компании Škoda удалось увеличить уровень скачивания их приложения Little Driver на 50% путем простой перестановки скриншотов в магазине приложений. Разработчики установили, что интерес потенциальных пользователей пропадал примерно после 8 секунды просмотра. Они поместили на первые места скриншоты, иллюстрирующие главные достоинства приложения, – и покупатели это оценили.
Spreadshirt: чем понятнее, тем лучше
Spreadshirt – это компания розничной торговли, специализирующаяся на продаже и покупке оригинальных футболок и принтов. Предприятие решило увеличить число пользователей своего сайта и изменило инфографик, иллюстрирующий механизм использования этого веб-ресурса. Новый вариант был понятным, четким, а, главное, − лаконичным. В результате, число человек, нажавших на кнопку «Начать продавать сейчас» возросло на 606%!
Заключение
Главная ошибка в A/B тестировании – это слепое проведение тестов без соответствующей исследовательской базы. При проверке мобильного приложения важно четко понимать, чего хотят пользователи, полагаться на продуманный дизайн продукта и продолжать тестирование, пока не получите по-настоящему значимые результаты.