ИКС от Яндекс. Исследование Алексея Чекушина

Неделю назад Яндекс выкатил новую пузомерку — ИКС.

Попробуем разобраться, что такое ИКС и с чем его едят он связан.

Для начала — заявление Яндекса:

Под ИКС, то есть под качеством сайта, мы понимаем в первую очередь востребованность сайта аудиторией. Чем больше пользователей смогли с помощью сайта удовлетворить свои потребности, чем больше задач они решили, тем он полезней. При этом важно не просто количество пользователей, но и степень их удовлетворённости, общий уровень доверия к сайту. Похожие принципы используются нами для нашей основной метрики качества поиска.

То есть, поиск утверждает, что чем больше доверяют пользователи сайту, чем больше им удовлетворены, тем больше ИКС. Ну что же, проверим это утверждение. Для проверки нам потребуется много данных. Потому как…

Without data you’re just another person with an opinion.

Выборка для анализа

Анализ произведён на выборке в ~2500 доменов, отобранных по следующим критериям:

• У домена определён ИКС
• ИКС соответствует именно этому домену
• Общий трафик сайта составляет не менее 10 000 визитов в месяц
• Домен присутствовал в ЯК

Почему именно такой набор критериев? Первые два очевидны — есть множество случаев по каким-то причинам не рассчитанного ИКС, а также неверной заклейки. Например, когда ИКС сайта показывается для субдомена другого сайта.

Третий критерий нужен как порог для оценки поведенческих метрик.

Четвертый — для корректного сравнения с ТИц.

Итак, поехали.

Хотя нет, сперва скучный дисклеймер:

Correlation doesn’t imply causation

В этой статье я буду рассматривать только наличие корреляций, а не причинно-следственные связи. Связь может быть, а может не быть, это тема отдельного исследования.

Round 1. ТИЦ vs ИКС.

Первое что нам интересно, это конечно же сравнение с ТИц. Давайте посмотрим:

На этом графике и далее:

ИКС — по оси абсцисс

Обе оси в логарифмическом масштабе

Каждая точка — отдельный сайт

Что мы видим? Безусловно, некоторая корреляция между ТИц и ИКС имеет место быть. Но, виден также существенный разброс значений. Ясно что метрики очень разные, хотя и имеют корреляцию.

Перейдём теперь к оценке внутрихостовых ПФ.

Round 2. Внутрихостовые ПФ vs ИКС.

Дисклеймер: мы не можем вытащить такие важные факторы как lastclick. И даже длинные клики посчитать возможности нет. Поэтому будем ориентироваться на то, что нам доступно — Время на сайте, pageviews, bounce rate. Нехорошо конечно, но… за неимением гербовой пишем на простой.

Какие нам доступны метрики? Это среднее время на сайте, среднее число просмотренных страниц и показатель отказов. Хоть что нибудь, да должно показать хорошую корреляцию, если ИКС действительно связан с удовлетворённостью пользователя.

Итак, время на сайте:

Хм… корреляция есть, но очень слабая. С ТИЦ у ИКС корреляция была гораздо лучше.

Но, быть может, она найдётся в количестве просмотренных страниц?

Нет. Тоже очень слабо. Может, в BounceRate?

Тоже слишком слабо.

Итого, несмотря на заявления Яндекса об ИКС, как о метрике удовлетворённости пользователя, не наблюдается сильной корреляции с общедоступными внутренними поведенческими метриками. Может быть метрики рассмотрены плохие, а может ИКС не с внутрихостовыми ПФ связан. Ну что же, давайте тогда взглянем на внешние метрики.

Round 3. Переходы на сайт vs ИКС.

Первое что стоит проверить — это объём type-in, или прямого трафика. И тут ИКС показывает впечатляющую корреляцию:

Стоит отметить, что ТИц тоже немного коррелировал с тайп-ином, но, конечно же, не настолько здорово:

Казалось бы вот — нужная нам метрика. Type-in отлично коррелирует с ИКСом, и он же тесно связан с удовлетворённостью пользователя сайтом. Всё просто? Нет. Если Type-in первостепенен, то сильную корреляция должна быть видна не только на абсолютном тайп-ине, но и на относительном. То есть — на доле тайп-ина. Посмотрим, так ли это:

Увы, но никакой существенной корреляции мы не видим. Для сравнения, давайте посмотрим на корреляцию между долей прямого трафика и проведённым на сайте временем.

Здесь всё довольно ожидаемо. Разброс большой (ведь сайты очень разные), но явно прослеживается корреляция между долей тайп-ина и временем на сайте.

Итого, если ИКС отлично коррелирует с прямым трафиком (type-in) и плохо — с его долей. Может быть… он просто связан с общим трафиком на сайт? Смотрим…

Бинго! Действительно, великолепная устойчивая корреляция. Более того — такая же хорошая корреляция наблюдается и между ИКСом и органическим трафиком:

Что тут яйцо, а что курица — неясно. Ведь общий трафик, тайп-ин, органика и даже реферрал отлично скоррелированы между собой. Мы можем лишь попытаться сделать оценку, посмотрев корреляцию между ИКС и общим трафиком для сайтов, чей type-in менее 10% и не должен оказывать сильного влияния на результат. Смотрим:

Оп! Таких сайтов немного, но корреляция хорошо видна. А это означает, что с большой степенью вероятности ИКС скоррелирован в первую очередь с общим трафиком, а лишь во вторую — с type-in.

Что в итоге?

Подведём краткий итог. Корреляции показываемые ИКС расходятся с заявлениями Яндекса:

При этом важно не просто количество пользователей, но и степень их удовлетворённости, общий уровень доверия к сайту.

По факту мы видим очень сильную корреляцию с объёмом трафика на сайт. И очень слабую — с внутрихостовыми ПФ. Серьёзно, даже с ТИЦ корреляция больше. Может быть Яндекс нам говорит не всю правду, а может быть реально сильную взаимосвязь ИКС имеет лишь с общим трафиком на сайт. Будем анализировать дальше.

Аномалии и крайние случаи

Выше я разобрал корреляции ИКС с другими параметрами сайта. Получилось довольно интересно — оказалось что ИКС главным образом коррелирует с общим трафиком на сайт и практически никак не связан с внутрихостовыми ПФ. Сегодня разберём различные крайние и вырожденные случаи, чтобы лучше понять с какими параметрами связан ИКС.

Важен ли бесплатный поисковый трафик?

Хорошим примером могут служить сайты с большим трафиком, у которых полностью отсутствует какой-либо трафик из поиска. Например — rutracker.org. Сайт был исключён из поисковой выдачи Яндекс и Google ещё осенью 2017 года и не может быть найден даже по брендовым запросам. Однако, согласно данным счётчика liventernet, он всё ещё имеет очень большой трафик. Какой будет ИКС у сайта, которые имеет большой общий трафик и нулевой траф из поиска?

23 000. Как видим, можно приобретать высокие значения ИКС возможно вообще без органики.

Важен ли прямой/брендовый трафик?

С органикой разобрались. А может ли быть большой ИКС у сайта без значимого прямого/брендового трафика. Да, может. Пример — сайт prihod.ru

Он имеет ИКС 5400

При практически полном отсутствии брендового трафика. При этом сайт не обладает большим трафиком в сравнении с сайтами с аналогичным ИКС. В чём же возможная причина?

У данного сайта очень большое ссылочное. Причём — хорошее, белое, пушистое. «По любви». Сайт предоставляет услугу конструктора православных сайтов и взамен получает бэки.

Только ли ссылочное это? Явно нет, поскольку сайт ortox.ru, получающий точно такое же ссылочное с тех же площадок имеет ИКС всего 1400. Но возможно, что ссылочное тут повлияло на размер ИКС при низком брендовом трафике. Гипотеза про влияние ссылочного явно требует проверки.

Важна ли русскоязычная аудитория?

Для этой оценки можем рассмотреть примеры сайтов, которые либо недоступны из России, либо имеют язык, отличный от русского и английского.

Пример первого — https://www.indiatimes.com/. В случае захода с Российского или Европейского IP отдаётся заглушка, информирующая что контент в эти страны не отдаётся:

Тем не менее, сайт имеет ИКС 1600.

В качестве второго — рассмотрим два популярных Японских сайта dmm.co.jp и livedoor.jp. Оба имеют достаточно большой ИКС (900 и 1700, соответственно), хотя явно не имеют никакой русскоязычной аудитории.

Какой вывод тут можно сделать? Яндекс использует данные не только с элементов яндекса и яндекс.браузера, но и покупает у сторонних поставщиков. При этом полнота данных явно уступает оной у русскоязычных проектов и аудитории. Аналогичные по аудитории проекты в России имеют на порядок или на два больший ИКС. Поэтому — да, русскоязычная аудитория важна, но и без неё ИКС у популярных проектов будет ненулевым.

Важно ли существование сайта?

По заявлению Яндекса ИКС — это удовлетворенность пользователей сайтом и количество задач, которые они решили. Значит, если сайта не существует, то и ИКС у него быть не должно. Логично? Проверим.

Первый пример — сайт job.ru. Он прекратил своё существование в конце 2017 года. Сейчас на сайте висит заглушка, которая предлагает перейти на hh.ru.

Тем не менее, ИКС сайта job.ru — 1400:

И это вовсе не ИКС сайта hh.ru, на который с морды стоят ссылки (у того 42 000). Ладно, может быть заглушка решает задачу пользователя — перенаправляет пользователя на сайт где он решает свою задачу. Рассмотрим более жесткий пример — сайты которые когда-то существовали и были популярны, но уже не существуют.

Такими примерами могут выступить wikimart.ru и enter.ru. Они имеют ИКС 300 и 350, соответственно. При этом никаких сайтов (даже заглушек) на этих доменах в последний год нет.

Что же есть у этих проектов?

1) Довольно большое ссылочное. На wikimart ссылаются порядка 1500 доменов, на enter ~4500.

2) Остатки type-in и брендовых запросов. Согласно данным wordstat, на викимарт приходится около 5000 показов по навигационным запросам, а на энтер — порядка 13 000.

Очевидно, никаких задач пользователи на сайте решать не могут — сайтов-то нет 🙂 Оказывается, всего лишь ссылочного и брендового трафика достаточно, чтобы у сайта появился какой-то ИКС. Причём — такой, который бывает у небольшого нишевого работающего интернет-магазина.

Итак, что мы узнали?

1. Большой ИКС может получить сайт вообще без органического трафика.
2. Относительно большой ИКС может быть у сайта без брендового трафика.
3. ИКС есть у сайтов без ру-аудитории, но меньше чем у аналогичных ру.
4. Для получения относительно небольших значений ИКС даже не нужен сайт 🙂

Последнее особенно забавно в свете заявлений Яндекса об ИКС как о метрике удовлетворенности пользователей и числа решенных ими задач. Напомню, это единичные примеры, которые могут как говорить о наличии корреляций или взаимосвязи, так и быть просто ошибками алгоритма. Будем продолжать изучение ИКС.

Автор исследования: Алексей Чекушин, автор сервиса https://just-magic.org/