Функционал раздела BI / Эксперименты

Основная панель с настройками

Подробно остановимся на каждом фильтре:

Выбор поисковой системы

На выбор предлагается 2 поисковые системы — это Google или Яндекс.

Важно. В разных поисковых системах, скорее всего, вы заметите разные результаты. Уделите этому особое внимание! Анализ необходимо делать отдельно в каждой поисковой системе.

Выбор метрики видимости

Выберите метрику видимости для более детального анализа.

Вспоминаем метрики:

• %ТОП10 — доля запросов в ТОП10 от общего количества запросов сегмента.

• %"WS"10 — доля частотности запросов в ТОП10 от суммы частотностей запросов сегмента.

• %Ptraf — доля видимости относительно максимально возможной видимости, то есть, чем ближе частотные запросы сегмента к ТОП1, тем выше видимость (%Ptraf).

Выбор периода

Это именно период анализа, за выбранный диапазон мы рассчитываем статистику в таблице. При этом график будет показан за больший период.

Выбор сегментов (тестовая группа)

Рекомендуем работать с сегментами из раздела "Внедрения".

Выбранные сегменты служат тестовыми группами. Нас интересует динамика этих сегментов относительно контрольной группы.

Например, вы хотите проверить гипотезу, "если я поменяю текст на страницах, то ранжирование улучшиться".

1. Поменяйте текст на нескольких страницах, (например 5) — эти страницы должны быть уже загружены на платформу.

2. Создайте новый сегмент и укажите дату, когда изменили текст —  это будет тестовая группа.

3. Если изменения свежие, то дождитесь переиндексации и учёта изменений ПС (в среднем 2-3 недели).

4. Затем выберите тестовый сегмент из каталога.

5. Сравните динамику этого сегмента с динамикой контрольной группы.

Что такое контрольная группа? Читайте дальше:

Контрольная группа

Контрольная группа — сегмент, с которым сравниваем изменение динамики тестовой группы.

При работе с контрольной группой обратите внимание:

1) Корректнее создать сегмент специально для контрольной группы под проводимый эксперимент. Сегмент должен быть с аналогичным типом страниц и схожими метриками с тестовой группой.

Но самым важным условием является факт того, что в контрольном сегменте точно не должно быть никаких других изменений. Таким образом, мы минимизируем влияние на эксперимент иных факторов. Результаты эксперимента в данном случае будут чище.

2) Можно взять более объемный сегмент содержащий страницы одного типа, в который может входить и тестовая группа. Это проще, если у вас уже есть сегменты по типам страниц. При этом выводы будут тоже корректны.

Например, тестовая группа состоит из 5 страниц, контрольная состоит из 500. 5 страниц не внесут значимый вклад в изменение динамики контрольной группы.

Контрольная группа — Весь сайт

Активируйте эту опцию, в любом другом случае 😉

Если ставите эксперимент на разных типах страниц, либо хотите посмотреть динамику относительно всего сайта.

Например, можно наглядно сравнивать категории со всем сайтом и увидеть какие категории выросли или упали сильнее всего относительно сайта в целом.

График

График показывает изменение метрики ранжирования сегментов в динамике.

Область между началом и концом анализа, совпадает с выбранным периодом в календаре, при этом график мы показываем шире.

График не всегда наглядно демонстрирует изменения, это затрудняет возможность сделать какие-либо качественные выводы для принятия решений. Поэтому лучше смотреть таблицу.

Таблица

В таблице в явном виде отражены результаты эксперимента и сделать выводы по ним легче.

Рассмотрим данные в таблице:

Дата создания сегмента (тестовая группа)

Даты в ячейках таблицы кликабельны. При клике на дату, она меняется на соответствующую в календаре, то есть отчёт получим начиная с этой даты + пару месяцев вперёд.

Таким образом, вы можете быстро понять, как сработали какие-то внедрения, опираясь на дату создания сегмента.

Дата анализа

 

Метрики изменений

1. Изменение метрики в процентных пунктах.

Считается как разница между значениями.
Например, было значение 100%, стало 90%, разница составит минус 10%.
90-100 = -10
Изменение метрики в процентах.

Считается как отношение значения левой даты к значению правой даты.
Например, было 10%, стало 90%. Мы покажем рост на 800%
(90*100/10)-100=800

Метрики, помогающие с выводами

Как сильно изменилась метрика ранжирования в процентный пунктах относительно контрольной группы

Это разница между разницами, то есть:
п. п. сегмента - п. п. контрольной группы = значение разницы

Разберём на примере:
1) метрика ранжирования сегмента из тестовой группы изменилась на 1 п.п.,
2) метрика ранжирования контрольной группы изменилась на 2 п.п.
1 - 2 = -1 п.п.
-1 п.п. — отрицательное изменение, говорит о том, что тестовый сегмент упал по отношению к контрольному.

Как сильно изменилась метрика ранжирования в процентах относительно контрольной группы?

Это отношение изменения в % сегмента от изменения в % контрольной группы, то есть:
% изменения сегмента (тестовой группы) / % изменения контрольной группы = значение
Отрицательные и положительные кейсы подсвечиваются зелёным и красным цветом соответственно, что помогает быстро понять, как и что сработало в плюс, а что в минус.

Действия

Здесь вы можете удалить любой тестовый сегмент, либо сделать его контрольной группой.

Подробнее о возможностях использования, а также оценке результатов A/B-тестов и эффективности внедрений, вы можете посмотреть на нашем YouTube / RUTUBE канале

Альтернативный источник: