Этим летом нам на глаза попалась статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило и мы провели свое тестирование на нашей игре «Слово за слово – игра с друзьями».
А/В тестирование состояло из 4 шагов:
- Подготовка материалов;
- Создание лендингов;
- Организация трафика на лендинги;
- Анализ результата.
Мы подготовили по 4 варианта иконки, описания и скриншотов, а затем приступили к созданию лендингов.
Всего было сделано 12 страниц, которые имитировали страницу в AppStore. К кнопке «скачать» прикрутили счетчик, который отслеживал количество кликов.
Пример лендинга.
После подготовки лендингов мы начали нагонять на них трафик из Google AdWords. Создав 12 кампаний, объявления и ключевые слова, со вздохом облегчения отправили их на модерацию.
Но на следующий день все 12 страниц отвергли, с пометкой «добавьте индивидуальности».
Пример скорректированного лендинга:
После сбора статистики, мы получили следующие результаты (кол-во трафика на каждом из лендингов – 1000 пользователей):
Иконка:
№ 1 – 29 переходов – 3 место;
№ 2 – 47 переходов – 1 место;
№ 3 – 42 перехода – 2 место;
№ 4 – 25 переходов – 4 место.
Описание:
№ 1 – 16 переходов – 4 место;
№ 2 – 44 переходов – 3 место;
№ 3 – 46 перехода – 2 место;
№ 4 – 48 переходов – 1 место.
Скриншоты:
№ 1 – 19 переходов – 3 место;
№ 2 – 17 переходов – 4 место;
№ 3 – 22 перехода – 2 место;
№ 4 – 43 перехода – 1 место.
И показатели становились хуже! Конечно, мы вернулись к прежнему варианту N1.
Было принято решение выкатить новый билд, поменяв в нем «имидж»: использовать наиболее выигрышные по итогам тестирования иконку, описание и скриншоты.
Понедельник день тяжелый, но может быть ещё тяжелее. До внесения изменений игра занимала следующие позиции:
RU-Overall – 119 место;
RU-Games — 43;
RU-Puzzle- 10;
RU-Word — 1.
После внесения изменений:
RU-Overall – 530 место;
RU-Games — 153;
RU-Puzzle- 41;
RU-Word — 5.
И показатели становились хуже! Конечно, мы вернулись к прежнему варианту.
Результат тестирования оказался для нас неожиданным, а последствия – шокирующими. Но негативный опыт – тоже опыт. В процессе анализа проведенного тестирования мы сделали вывод, что аудитория рекламной сети Google AdWords отличается от нашей целевой аудитории в AppStore, в отличии от приложения автора статьи, на которую мы опирались.
iPhone + iPad: Freemium [Скачать в App Store]
Данная история опубликована в рамках рубрики Developer Story, где разработчики делятся секретами своей внутренней кухни.
Источник:
