Евгений Динамическое тестирование сайтов и Landing Page: еще больше вариантов Трофименко Евгений контакты услуги

Евгений Нельзя вот так взять и оттестировать всё…

Евгений Лендинги: А/Б тестирование 1. Есть вариант страницы А 2. Есть вариант страницы Б 3.… Сливаем на каждый вариант много трафика, имеем достоверную статистику, считаем лучший вариант по конверсии.

Евгений Лендинги: MVT тестирование MVT - Multivariate testing 1. Есть элементы страницы, которые мы меняем: Заголовок, КДПВ, описание, вид и расположение кнопки «купить» и корзины, layout страницы, цветовые и шрифтовые схемы… Кроме этого: мы используем разные смыслы. 2. У каждого изменяемого элемента страницы есть много вариантов значений. 3. А как их оттестировать? Честно? Перемножаем число факторов на число вариантов. Упссс…. Многовато будет.

Евгений Метод тестирования прост… и много лэндингов не проверить И в А/Б тестировании И в многофакторном тестировании Анализ одинаковый: 1.Сольём на уникальный лэндинг достаточно нашего целевого трафика 2. Посчитаем конверсию по каждому уникальному варианту – и чтобы была достоверная статистика А что делать, если хочется проверить ОЧЕНЬ МНОГО ВАРИАНТОВ?

Евгений MVT – для примера Пусть: 1. Есть 3 фактора по 3 варианта значения каждого. На каждый вариант наберем 100 конверсий. Итого надо 2700 конверсий, многовато, но ОК 2. Есть 5 факторов по 5 вариантов каждый. Итого надо слить конверсий. Не пойдёт. 3. Есть 7 факторов по 7 вариантов. Нужно конверсий? Мама, роди меня обратно.

Евгений А что нам хочется проверить? что нужно клиенту, формулировка: вопрос и ответ на самом деле у него есть проблема – какая? как все ее решают и почему они плохо решают как мы эту проблему можем решить что мы предлагаем: ценность, гарантии что клиент получит и за какие сроки кто мы и почему именно мы работа с возражениями каких усилий от клиента потребует ограничения, подарок, тающая скидка, цифры призыв к действию

Евгений Комбинации факторов – важны Классика: Быстро Качественно Дешево Клиенты хотят не любые два, а все три + еще несколько пунктов. И можно без хлеба. Но никто не напишет им всю совокупность преимуществ, которую они хотят увидеть!

Евгений Факторы – НЕ независимы Людей - кто поймёт? Быстро, качественно, дешево = подозрительно Быстро и качественно – а вдруг по деньгам плохо? Быстро и дешево – а кого мы пригнали рекламой? Качественно и дешево – а если в Москве жара? Совокупности параметров важны и сильно влияют на конверсию.* *вероятно

Евгений Кейсы с изменением заголовка страницы Create a webpage for your business % Online advertising that works! % = +90%

Евгений Кейсы с изменением заголовка страницы +87% 0,8% - Школа иностранных языков – языковые курсы для каждого 1,5% - Почему 78% учат язык годами, но так и не говорят на нем, а 22% свободно "болтают" уже на 8 уроке? +168% 3,5% - Экспресс-кредит только по паспорту 9,4% - Одобрим кредит до руб. онлайн, без справок и поручителей по ставке всего 16,7% годовых. +350% 0,2% - Регистрируйтесь и качайте фильмы, музыку и книги бесплатно 0,9% - Укажи свое настроение, и в течение 20 секунд мы пришлем тебе на 5 HD фильмов под него.

Евгений Хочется проверить много а можем проверить мало… Ограничения по трафику – времени – деньгам. При отдельном тестировании лэндингов по каждому нужна «достоверная» статистика. А что, если она не нужна? Можем ли мы обойтись малыми данными?

Евгений Есть ли смысл в малых данных? 1000 конверсий / 3000 просмотров = конверсия 1/3 100 конверсий / 300 просмотров = конверсия 1/3 10 конверсий / 30 просмотров = ??? 1 конверсия / 3 просмотра = это вообще что??? Вряд ли кто* скажет, что в малых данных есть смысл. Просто с ними нужно правильно работать. * кто другой

Евгений Смысл можно извлечь… 1 действие, 3 просмотра вопрос – что с ним делать…

Евгений Малые данные мало просмотров Пример: 1000 монеток с разной вероятностью решки. Все считают, что нельзя… если система такая:

Евгений А что, если система такая? Тогда мы за один бросок найдем все решки…

Евгений Приблизимся к реальности… Сильная разница в вероятностях 50% - 68% - 80% - … А кто знает, какова реальная система???

Евгений Такое различие – реально… Наивная модель, 6 факторов, 6 значений у каждого, итоговый CR получается средним геометрическим значений. 6 вариантов ,0.02,0.03,0.04,0.08,0.16

Евгений Но и здесь есть проблемы: 1.Что, если монеток не 1000, а 10^10 ? 2.Что, если средняя конверсия не 50%, а 1%? Тогда наши броски будут 1000 – 10 – 0… 3. Что, если разница в конверсии не такая сильная? Нам поможет железный компьютер и машинное обучение.

Евгений Динамическое тестирование Мы не обязаны уметь задавать тонну данных, долго думать и выдать окончательный ответ. Мы можем проверять наши гипотезы в динамике, прямо здесь и сейчас. Интерактивное машинное обучение. 1. Проводим эксперименты с ограничениями 2. Сужаем фокус до лучших результатов 3. Обучаемся на малых данных 4. goto 1;

Евгений А это возможно или нет? Проверим… Вы верите в то, что пользователи могут СИЛЬНО менять свое поведение при наличии – отсутствии совокупностей триггерных сигналов на странице? Верите в это? Ооооок Все покажет опыт… Сейчас это – вопрос веры.

Евгений Кейс: модель пользователя 6 факторов ^9 значений = уник лэндингов Модель с сильной зависимостью CR. Самая лучшая комбинация имеет конверсию 100% – при любой ошибке конверсия / 2 угадано конверсия % % % % % % * Усложним модель – возьмем 9 равноправных старших комбинаций, такую задачу наивно не решить.

Евгений KONVR: Конверсия от обучения (макс 0.82)

Евгений KONVR: Угадывание «лучшего» лэндинга

Евгений Нельзя вот так взять и оттестировать всё…

Евгений Отпустите уже фантазию… В раздатке – купоны на 30 т.р. Сейчас не учитываются внешние параметры пользователя (час дня, день недели, гео, особенности запроса, источник, т.д.) – но будут. Маркетологи? Все уже придумано? Они просто не могли проверить много вариантов. А сейчас – могут.

Евгений Итоги: 1.Недостоверные, малые данные использовать можно. Но аккуратно. 2. Много вариантов лэндинга (срезы по MVT) проверить можно. Это не проблема. 3. Единственный метод – не накопление статистики с разовой обработкой, но тестирование гипотез в динамике, интерактивно.

Евгений ВСЁ. Динамическое тестирование сайтов и landing page: еще больше вариантов Трофименко Евгений контакты услуги