Большой ретест на $400k с IMI Dating Smartlink
Всем привет!
Как я уже писал, по мере развития идеи сплит-тестирования элементов преленда, мы существенно продвинулись в методологии этого процесса. Наши тесты становятся все более объемными, а их выводы более точными. Поэтому я решил вернуться к старым концептам и посмотреть на сколько далеки были результаты моих локальных тестов от текущей модели тестирования, а заодно и убедиться, что мы не упускаем профит.
Идея
Для ретеста я выбрал популярные инструменты, которые показали неожиданный или иногда даже нелогичный результат. Подробнее о каждом, вы можете почитать в соответствующих статьях, а тут я только напомню основную идею элемента и результат прошлого теста:
- Геолокатор — определяем местоположение юзера по IP и показываем, что рядом с ним много вариантов для метча. Предыдущий результат: не оказывает влияния на перформанс в 4 из 5 случаев;
- Exit js — скрипт, вызывающий информационное сообщение при попытке юзера покинуть страницу. Предыдущий результат: не оказывает влияние на перформанс;
- Капча — геймификация преленда за счет размещения пятнашки на последней странице преленда. Предыдущий результат: +5.3% EPV;
- Sound — использование звуковой дорожки на преленде. Предыдущий результат: разнонаправленное воздействие на CTR и CR;
- Таймер — визуализация ограниченного предложения на бесплатную регистрацию. Предыдущий результат: разнонаправленное воздействие на CTR и CR;
- Секьюрность — создание ощущения безопасности благодаря значкам приватности. Предыдущий результат: негативное влияние на EPV.
Тест
Для теста мы взяли старые концепты и запустили сплиты по новой методологии на всем трафике IMI Dating Smartlink.
рис. 1: пример преленда с геолокатором и секьюрностью
рис. 2: пример преленда с EXIT JS
рис. 3: пример преленда с таймером и капчей
Результаты
Геолокатор:
- Число визитов 2.364M на каждый преленд
- Число тестовых конверсий 15909 | Число базовых конверсий 15086
- Ревеню тестовое 34078$ | Ревеню базовое 32724$
- V2С тестового 0,673% | V2C базового 0,636%
- EPV тестового $0,0144 | EPV базового $0,0138
- CTR тестового 13,12% | CTR базового 13,53%
- CR тестового 5,13% | CR базового 4.72%
- Тестовая версия стат значимо лучше: +4,1% EPV
EXIT JS:
- Число визитов 2,921М на каждый преленд
- Число тестовых конверсий 19348 | Число базовых конверсий 19074
- Ревеню тестовое 45340$ | Ревеню базовое 45252$
- V2С тестового 0,662% | V2C базового 0,653%
- EPV тестового $0,0155 | EPV базового $0,0155
- CTR тестового 13,46% | CTR базового 13,47%
- CR тестового 4,92% | CR базового 4.85%
- Стат значимо неразличимы!
Капча:
- Число визитов 4.565 M на каждый преленд
- Число тестовых конверсий 29956 | Число базовых конверсий 29748
- Ревеню тестовое 49971$ | Ревеню базовое 50438$
- V2С тестового 0,656% | V2C базового 0,652%
- EPV тестового $0,0109 | EPV базового $0,0110
- CTR тестового 16.75% | CTR базового 13,95%
- CR тестового 3,92% | CR базового 4.67%
- Стат значимо неразличимы!
Sound:
- Число визитов 2.091M на каждый преленд
- Число тестовых конверсий 13269 | Число базовых конверсий 12820
- Ревеню тестовое 26990$ | Ревеню базовое 26624$
- V2С тестового 0,634% | V2C базового 0,613%
- EPV тестового $0,0129 | EPV базового $0,0127
- CTR тестового 12,80% | CTR базового 13,5349%
- CR тестового 4,96% | CR базового 4.54%
- Стат значимо неразличимы!
Таймер:
- Число визитов 2.096M на каждый преленд
- Число тестовых конверсий 16581 | Число базовых конверсий 16234
- Ревеню тестовое 36047$ | Ревеню базовое 35076$
- V2С тестового 0,791% | V2C базового 0,774%
- EPV тестового $0,0172 | EPV базового $0,0167
- CTR тестового 16,64% | CTR базового 16,96%
- CR тестового 4,75% | CR базового 4.57%
- Тестовая версия стат значимо лучше: +2,8% EPV
Секьюрность:
- Число визитов 1.622M на каждый преленд
- Число тестовых конверсий 9094 | Число базовых конверсий 8666
- Ревеню тестовое 17677$ | Ревеню базовое 16827$
- V2С тестового 0,561% | V2C базового 0,534%
- EPV тестового $0,0109 | EPV базового $0,0104
- CTR тестового 12,22% | CTR базового 12,70%
- CR тестового 4,59% | CR базового 4.21%
- Тестовая версия стат значимо лучше: +5,1% EPV
Выводы:
Большой ретест, всего 6 элементов на $417к и объемом в 205 тысяч лидов показал, что благодаря секьюрности, локатору и таймеру можно повысить перформанс дейтинговой воронки в совокупности на 12%. А звуковая дорожка, exit js и геймификация с помощью капчи не оказывают влияния на отработку. Некоторые выводы из моих прошлых локальных тестов подтвердились, другие указали на ошибки. Что ж, это только доказывает, что одних тестов мало, результат также зависит от качества их проведения. Я пошел возвращать локаторы на преленды, а вам удачных тестов!
Все еще трудно поверить? Тогда попробуйте сами с нашей TDS
Или предоставьте менеджмент своего трафика команде IMI
Читайте больше кейсов на тему повышения перформанса в моем ТГ-канале
