Коммерческие факторы. Наиболее полный обзор.

В 2014 году Яндекс объявил о том, что начинает выстраивать некоторые топы по Москве без учета ссылочного фактора. Главные вопросы, которые встали перед оптимизаторами:

Не является ли это заявление блефом?

Если это правда, то какие факторы могли бы прийти на замену ссылочным?

Может быть это поведенческие факторы? Или новые и мало изученные коммерческие факторы?

Давайте разберемся по порядку.

Поведенческие факторы – альтернатива ссылочным?

Доподлинно известно, что Яндекс учитывает поведенческие факторы и делает на них большую ставку. Множество кейсов и банов за накрутку поведенческих подтверждают выше сказанное. Но могут ли поведенческие стать заменой ссылочным факторам? Яндекс никогда об этом не заявлял.

Если посмотреть на открытые счетчики сайтов в коммерческих тематиках по Москве, то можно заметить, что совершенно не обязательно более посещаемые сайты с активной аудиторией находятся выше других. Очевидно, поведенческие факторы влияют на ранжирование в коммерческих тематиках по Москве, но не являются заменой ссылочным. Тут должно быть что-то другое более качественное и надежное.

Коммерческие факторы выходят на сцену

Перенесемся назад во времени. 20 мая 2010 года на блоге Яндекса появилась статья с рассуждением о том, каким видит Яндекс идеальный топ по запросу «пластиковые окна». Ключевая фраза в этой статьей следующая: «В идеальном случае хочется, чтобы на первую страницу фирмы попадали, исходя из качества услуги, которую они оказывают. Для этого, правда, придется сначала научиться оценивать качество услуги. Более простая цель – чтобы в выдачу попадали наиболее известные компании, хорошо представленные как в сети, так и в оффлайне».

Итак, в 2010 году в Яндексе всерьез задумались о том, чтобы выдача определялась не только ссылками, ПФ и внутренними факторами, но также качеством услуги и известностью компании.

Двигаемся, дальше, октябрь 2011 года. Кирилл Николаев из Яндекса представил на конференции Cybermarketing-2011 доклад о новом подходе к ранжированию коммерческих запросов. Важнейшим тезисом доклада является использование новых критериев для ранжирования коммерческих запросов:

• Доверие пользователя к сайту. Готов ли пользователь доверить деньги персональные данные и т.п.
• Удобство выбора пользователем товара/услуги, когда он еще не определился с покупкой.
• Качество услуги. Пользователь знает, что хочет приобрести и оценивает ожидаемое качество услуги.
• Дизайн сайта – оценка по дизайну сайта.

По словам Кирилла на момент доклада асессорами уже было оценено гораздо больше 10 тыс. коммерческих сайтов и результаты ранжирования можно было увидеть на buki.yandex.ru. Ожидалась скорая загрузка нового алгоритма ранжирования на основной сайт Яндекса.

Запуск коммерческих факторов

23 ноября 2011 года Яндекс уже анонсирует, что в формулу ранжирования в Московском регионе включены факторы качества сайта и доверия к компании (коммерческие факторы).

Из пресс-релиза следует:

«Для Яндекса важно, чтобы пользователь, перейдя на сайт из результатов поиска, быстро и удобно решил стоящую перед ним задачу… Какими свойствами для этого должен обладать сайт и, что не менее важно, стоящий за ним бизнес?

 …Он [пользователь] должен доверять сайту и представленной им компании. Узнаваемый бренд, максимально полная контактная информация, отзывы реальных покупателей, портфолио – все это помогает понять, что за сайтом стоит серьезный бизнес.

Дизайн и пользовательский интерфейс

Сайт должен помочь пользователю выбрать нужный ему товар. Этому способствуют качественные описания и фотографии товара, удобный поиск и возможность сравнения по различным параметрам, рейтинги, обзоры, рекомендации для разных групп покупателей. Процесс заказа должен быть максимально простым и понятным – без заполнения огромных форм с большим количеством параметров.

Широкий ассортимент

Привлекательный дизайн и удобный интерфейс бесполезны, если товаров нет в наличии или их выбор крайне ограничен (да здравствуют товарные агрегаторы! — прим. автора).

Цены

Цена товара должна быть адекватной – это очевидно

Возможности оплаты и доставки

Пользователю должен предоставляться широкий выбор способов оплаты и доставки товара – большая сеть филиалов и пунктов самовывоза, быстрая и недорогая доставка.

…В новой версии формулы ранжирования коммерческих запросов для Московского региона мы начали учитывать перечисленные характеристики качества сайтов и будем развивать это направление».

Этот пресс-релиз – настоящая сенсация, которая была не замечена большинством оптимизаторов. Теперь дизайн, интерфейс, ассортимент, цены и возможность оплаты и доставки товара на коммерческих сайтах стали не просто оцениваться асессорами, но и влиять на выдачу. Асессоры в Яндексе, начали не только обучать Матрикснет, расставляя плюсы, минусы релевантности но и размечать сайты в коммерческой выдаче по Москве по нескольким параметрам качества.

И, наконец, 24 ноября 2011 года на конференции «Оптимизация 2011» Александр Садовский объявил, что еще 20 ноября был запущен новый алгоритм ранжирования коммерческих запросов по Москве. А на форуме Searchengines как раз обсуждалось, что основная выдача по Москве стала идентичной той, которая была на buki.yandex.ru. Также Александр сказал, что когда в выдаче присутствует множество релевантных коммерческих сайтов, необходимо ранжировать их по каким-то новым факторам. Исходя из исследования TNS, пользователи ориентируются на следующие показатели при выборе магазина и товара:

Яндекс, в свою очередь решил оценивать сайты и компании владельцев этих сайтов по следующим критериям:

Кто-то сразу начал заявлять, что теперь топы модерируются вручную, однако, как признает большинство оптимизаторов, коммерческое ранжирование по Москве в Яндексе стало более качественным, чем в Гугле и остается таким до сих пор.

Тему в мае 2012 года продолжила развивать Ольга Онойко, администратор группы асессоров в Яндексе. Выступая перед аудиторией в Киеве, она сообщила:

«…есть общая релевантность, и там асессоры тратят от 10 секунд до минуты на изучение страницы. А есть, например, крайне сложное задание асессорское – это полный всесторонний анализ коммерческого сайта, насколько он качественный, насколько там хороший контент, насколько он надежный и т.д. с изучением дополнительных материалов, отзывов, рейтингов и проч. Естественно, это очень долгое задание, и там может человек минут 20 потратить, изучая всю информацию о вашем сайте».

Таким образом, Ольга подтвердила, что асессоры не только изучают сам сайт, но и информацию о сайте и компании в интернете.

Самая полезная информация от Яндекса по коммерческим факторам

В 2013 году Яндекс представил доклад на тему ранжирования коммерческих сайтов. Каждый, кто продвигает коммерческий сайт по Москве просто обязан изучить этот доклад. К моменту публикации этого доклада Яндекс уже почти 2 года практиковал работу с коммерческими факторами, поэтому данный доклад, очевидно, описывает существующую практику с коммерческим ранжированием по Москве.

Приведу облегченный перевод самых интересных моментов доклада, попутно комментируя их…

«Поисковые системы сталкиваются со сложностями ранжирования одинаково релевантных результатов… Вебмастера оптимизируют текстовый контент и покупают ссылки, чтобы улучшить позиции в поисковой выдаче. В результате, текстовая релевантность и качество ссылочной массы сайтов в топ-10 обычно одинакова. Более того, асессоры дают высокую оценку тематической релевантности этих сайтов».

Представьте, по запросу «пластиковые окна» по Москве есть несколько сотен релевантных сайтов. С точки зрения асессоров, размечающих тематическую релевантность, все эти сайты одинаково релевантны. Кроме того, текстовая оптимизация у всех этих сайтов проведена хорошо. Ссылочные факторы у них также находятся на высоте. Возникает вопрос, как улучшить качество поиска, когда перед тобой десятки или сотни одинаково релевантных сайтов?

 «…Для решения этой проблемы мы стали учитывать дополнительные факторы релевантности: доверие, юзабилити, качество дизайна, качество сервиса… Вместе эти факторы определяют коммерческую релевантность сайта или иначе совокупное качество сайта… В целях расчета качества можно использовать асессорскую оценку или поведенческие факторы. Мы решили использовать асессорские оценки, потому что они меньше зашумлены.

Используя поведенческие факторы, очень сложность определить, был ли удовлетворен пользователь результатами поиска. Поведение пользователей в коммерческой выдаче по разными запросам может сильно отличаться в зависимости от типа продукта, цены и т.д. (взять хотя бы, доставку пиццы и покупку объектива для цифровой камеры). Однако поведенческие факторы могут нести полезную информацию, поэтому мы отображаем их асессорам…

В соответствии с инструкциями асессорская оценка сайта состоит из двух этапов. Сначала асессор определяет, является ли документ тематически релевантным запросу. Мы используем 5-балльную шкалу релевантности: нерелевантный, релевантный, высокорелевантный, полезный, витальный.

Оценка качества сайта [второй этап] – значительно более сложный и долгий процесс, чем определение тематической релевантности…

На первом этапе оценки сайта определяется ассортимент продуктов и услуг представленных на странице и соответствующих поисковому запросу. Предусмотрено 3 оценки ассортимента: малый, обычный, большой…»

В принципе, с ассортиментом все логично. Мы действительно доверяем больше крупным магазинам с хорошим ассортиментом, поэтому выделение такого параметра как ассортимент вполне оправданно. Но на практике, к сожалению, этот параметр дал фору товарным агрегаторам, которые зачастую вообще ничего не продают.

«На втором этапе оценки определяется доверие, юзабилити, качество дизайна и качество сервиса. Доверие и качество сервиса оцениваются по 4-балльной шкале: спам, нормально, хорошо, превосходно

Метка «спам» выставляется сайту, если на нем невозможно совершить покупку или воспользоваться услугой (псведосайты). Нормальным считается неплохой сайт, ничем не отличающийся от тысяч подобных коммерческих сайтов. Хороший сайт предоставляет пользователям стандартный набор [хороших] услуг. И, наконец, оценку «превосходно» получают сайты, являющиеся хорошо известными лидерами рынка в своей нише…

Юзабилити и качество дизайна имеют 3 степени качества: плохой, хороший и превосходный… Все описанные ранее значения оцениваются в промежутке от 0 до 1».

Последнее означает, что такие оценки как «малый» и «большой», или «нормально» и «превосходно» и прочее переводятся на язык математики в виде чисел. Яндекс не уточняет конкретные значения в своем докладе. Но, например, оценка «спам», скорее всего, приравнивается к 0, а значения оценок ассортимента могли бы выглядеть так:

Малый – 0,5

Обычный – 0,8

Большой – 1

Вероятно, значения подобраны эмпирически, и могли не раз меняться. Этот перевод на язык математики нужен для внедрения оценок в формулу расчета релевантности. Об этом Яндекс говорит следующее:

«В частности мы использовали следующее выражение…»

Для удобства формулу Яндекса из доклада показываем сразу с примечаниями:

«Вес доверия и качества сервиса вдвое выше веса других факторов. Мы считаем, что эти данные более важны с точки зрения удовлетворенности, но мы не рассматриваем этот коэффициент как единственно возможный».

Намек очевиден – доверия и качество сервиса считаются важнейшими показателями. Однако, насколько больше должен быть их вес относительно других показателей и относительно друг друга, Яндекс не раскрывает. Вероятно, самый высокий коэффициент имеет значение доверия, за ним следует качество сервиса, а затем уже более субъективные показатели дизайна и юзабилити.

«Оценка коммерческой релевантности – очень сложное задание [для асессоров], поэтому в целом количество меток коммерческой релевантности будет значительно меньше количества меток тематической релевантности».

Это логично, вспомним слова Ольги Онойко о том, что оценка тематической релевантности занимает от 10 секунд до минуты, а коммерческой релевантности до 20 минут.

Скорее всего, далеко не все асессоры получают доступ к оценке коммерческой релевантности сайтов, потому как, во-первых, эта работа гораздо более сложная и требует лучшей подготовки. А во-вторых, наверняка, стоит острый вопрос защиты инструкции по оценке коммерческих факторов от утечек в паблик. Доступ к такой инструкции (в отличие от инструкции по оценке тематической релевантности) может обеспечить значительную фору в продвижении коммерческих запросов по Москве. Поэтому нельзя просто так раздуть штат асессоров второго уровня – это должны быть грамотные проверенные люди.

В итоге, значительные временные затраты на оценку и недостаток количества асессоров приводят к тому, что не все сайты в коммерческих топах своевременно размечаются. Именно этот последний тезис и сообщается в докладе.

А кроме того, все сайты нужно периодически повторно пересматривать. Период пересмотра по логике должен находиться в пределах 3-12 месяцев, а также в случае значительных изменений сайта.

«Мы не можем не учитывать метки тематической релевантности, когда по сайтам нет меток коммерческой релевантности. Иначе это может привести к значительному уменьшению материала для обучения системы ранжированию и к ухудшению качества ранжирования.

 Поэтому прежде чем начать обучение системы, мы должны экстраполировать метки коммерческой релевантности на весь набор данных [документов]».

Итак, есть проблема – не все сайты имеют отметку коммерческой релевантности. Как их ранжировать? Поможет экстраполяция – это когда функция производит расчеты за пределами заданных значений. Нужно экстраполировать значения коммерческой релевантности, опираясь на прочие факторы. То есть даже когда данных по коммерческой релевантности нет, Яндекс как бы предполагает, какими они могли бы быть с учетом прочих факторов. А дальше…

«Имея значения коммерческой релевантности всех тематически релевантных результатов по коммерческим запросам, мы считаем единую оценку релевантности…»

Для удобства формулу Яндекса из доклада показываем сразу с примечаниями:

«Используя эту единую оценку релевантности , мы обучаем ранжирующую функцию на всей выборке. Коэффициент подобран эмпирически, чтобы максимизировать вклад коммерческой релевантности, но не перекрыть полностью метрику тематической релевантности».

Как видим, в итоговой формуле основное значение играет коммерческая релевантность, а не тематическая. То есть Яндекс предпочитает показать в коммерческой тематике более качественный, но менее релевантный сайт, чем наоборот.

«Для лучшего предсказания значений текстовой и коммерческой релевантности мы представляем некоторые свойства, относящиеся к коммерческим сайтам… Эти свойства очень полезны для аппроксимации коммерческой релевантности, так как учитывают информацию о качестве страницы… Большинство этих параметров являются свойствами доменов, агрегирующими информацию по всем документам коммерческого сайта…

Свойства для замера качества сайта

Подробная контактная информация

Страницы компании в соцсетях

Отсутствие рекламы

Количество разных продуктов

Подробное описание продуктов

Наличие сервиса доставки

Продажный сервис (email, телефон, обратная связь)

Система онлайн консультации

Скидки

Читабельность доменного имени

Средняя длина URL

Средняя длина Title

Соответствие Title и контента страницы

Средняя глубина вложенности URL»

В докладе явно указано, что эти параметры используются для «предсказания» и «аппроксимации». А это значит, они пригодны в тех случаях, когда для площадки не определена коммерческая релевантность. Более того, ниже в докладе находим:

«Мы разработали DCG метрики и отслеживали их изменения вместе с добавление информации о качестве сайтов в функцию ранжирования. График 1 изображает метрику Goodness [хорошего качества] в течение некоторого периода до и после изменения функции ранжирования…

Можно проследить, что значение метрики возросло почти на 30% по сравнению с начальными условиями. График 2 изображает другую нашу метрику – Badness [плохие поисковые результаты]…

Видно, что значение метрики снизилось почти на 70%. В то же время, классические DDCG метрики, рассчитанные только для тематической релевантности оставались почти без изменений в течение эксперимента.

Мы сравнили наши результаты с обучением без учета новых коммерческих свойств. Мы увидели, что улучшение метрик Goodness и Badness было на 20% меньше, чем в случае, когда мы использовали эти дополнительные свойства».

В этом последнем абзаце мы снова находим подтверждение тому, что эти свойства используются для предсказания коммерческой релевантности и позволяют улучшить качество ранжирования.

Похоже, что, не справляясь с оценкой коммерческой релевантности большого потока сайтов, Яндекс предлагает использовать некоторые простые маркеры сайта для примерного определения качества площадки. Часть этих маркеров несложно определить автоматически, другие же, похоже, определяются полуавтоматически или вручную. В любом случае оценка этих параметров занимает гораздо меньше ресурсов, чем полная ревизия коммерческого сайта. И за неимением результатов по коммерческой релевантности позволяет более или менее точно предсказать их значение.

Выводы из доклада

Нужно понимать, что Яндекс лишь приоткрывает завесу над своими коммерческими факторами, но не говорит о том, как построен механизм ранжирования и обучения в большом Яндексе. Это всего лишь эксперимент, этакая миниатюра. Но все же некоторые важные выводы относительно большого Яндекса, как мне кажется, мы смело можем сделать:

1. Существует проблема нехватки меток коммерческой релевантности. Чтобы ее решить, используются математические методы предсказания их значения на основе прочих факторов.

2. Для улучшения предсказания коммерческой релевантности вероятно используются дополнительные свойства. Соответствующий список дан в докладе, но реальный список скорее всего сильно отличается от представленного.

3. При оценке коммерческой релевантности приоритетными являются факторы доверия и качества сервиса. Меньшую роль играет дизайн и юзабилити.

4. Для расчета коммерческой релевантности используется такой параметр как ассортимент. Он является запросозависимым, то есть ассортимент должен быть широким именно в рамках заданного запроса.

5. В коммерческой выдаче коммерческая релевантность имеет приоритет над тематической релевантностью.

Очевидно, ставка на коммерческие факторы не только улучшила поиск, но создала массу проблем: недостаток асессоров, необходимость большого количества людей в штате, сложность в обучении и администрировании этих людей, значительные потери за счет зарплат, налогов и социальных выплат.

Не удивительно, что в Яндексе по словам Александра Садовского хотят увеличить вес ссылок в коммерческой выдаче по Москве после вывода алгоритма «Минусинск» на расчетные показатели.

Коммерческие и ссылочные факторы в коммерции по Москве

В конце 2013 года Александр Садовский объявил о том, что Яндекс готов выстраивать топы по Москве полностью без учета ссылок. А позже уже в 2014 году Александр заявил о запуске безссылочного ранжирования.

Характерно было то, что никаких серьезных изменений в топах по Москве в коммерческих тематиках замечено не было. Причем речь идет не только о моменте заявления Александра, но также о длительном периоде до и после заявления. Возникла коллизия: Яндекс заявил об отмене ссылочного ранжирования в коммерции по Москве, а по факту никаких подтверждений оптимизаторы не увидели.

Многие посчитали, что основная цель заявления Яндекса в том, чтобы снизить веру заказчиков в SEO, чтобы перенаправить поток клиентов от SEO-компаний и агрегаторов в Яндекс.Директ. И это логично.

На мой взгляд, возможно два основных варианта работы Яндекса с ссылками и коммерческими факторами.

Первый вариант – ссылки по-прежнему работают как отдельный фактор в коммерческой выдаче по Москве, но с приоритетом коммерческих факторов.

Второй вариант – в коммерческой выдаче ссылки как отдельный фактор мог быть исключен, а его роль взяли на себя коммерческие факторы. Но при этом в обоих вариантах ссылочный фактор используется для предсказания коммерческой релевантности сайта. Ведь не для всех коммерческих сайтов по Москве имеется оценка коммерческой релевантности, и зачастую ее нужно предсказать на основе прочих факторов. Причем в функции расчета ожидаемой коммерческой релевантности их вес может быть весьма и весьма немалым.

После окончательного запуска нового алгоритма в коммерции по Москве в Яндексе стали воздерживаться от каких-либо вразумительных комментариев по коммерческим факторам. Дошло до смешного, в Нижнем Новгороде SEO-специалист Игорь Бакалов стал расспрашивать Антона Роменского из Яндекса о дизайне, как одном из коммерческих факторов, и получился такой диалог:

«Игорь: Так Садовский.. говорил, что есть куча Rel+ документов, и надо вводить новые коммерческие метрики качества сайта. А как раз таки качество сайта – это 4 вот этих самых группы (прим: доверие, дизайн, юзабилити, сервис). А вы сейчас говорите, что этого нет. Это как?

Антон: Ну я вам говорю, что это не так важно. Я же вам сказал, что ну это как бы… этого как бы нет… считайте что этого нет… Потому что какие там тонкости есть у асессоров – это не важно. Есть вот общие вещи, релевантный, или не релевантный».

Более того, продолжая убеждать вебмастеров в том, что нужно делать качественные сайты, Яндекс с конца 2013 года перестал публиковать информацию о коммерческих факторах. Я уверен, что такую подробную информацию как раньше мы больше никогда от Яндекса не получим.

Но главное ясно уже сейчас:

Хочешь коммерческий топ по Москве – сделай свой сайт и бизнес лучше, чем у конкурентов. Если посетители больше доверяют конкурентам, то шансы выйти и удержаться в конкурентном топе ничтожны.

Что делать, и как дальше жить?