X

Как Яндекс ранжирует сайты (часть 2)

Задача Яндекса – дать наилучший ответ на поисковый запрос пользователя. Для этого Яндексу, прежде всего, необходимо проиндексировать миллиарды документов, найденных по всему интернету, чтобы не упустить ничего важного. А затем в тот момент, когда пользователь задает поисковый запрос быстро вывести релевантные, то есть соответствующие запросу страницы.

Однако в день к Яндексу обращаются миллионы пользователей с разными запросами. Трудно представить, что сотрудники Яндекса могут всегда проконтролировать, что по каждому запросу выдаются наилучшие результаты. Так как же Яндекс решает задачу поиска наиболее подходящих страниц?

Поисковая система – мощный искусственный интеллект

Решение заключается в машинном обучении поисковой системы и превращении Яндекса в своеобразный искусственный интеллект. Поясним это на примере из статьи «Матрикснет – новое качество поиска Яндекса».

Представьте, что перед нами стоит задача научить робота отбирать самые вкусные яблоки. Для этого мы берем ящик яблок и по очереди пробуем все яблоки на вкус, раскладывая вкусные яблоки в одну сторону, а невкусные – в другую. Теперь наступает очередь робота. Конечно, робот не может попробовать яблоки на вкус, но он может оценить их размер, цвет, твердость, содержание сахара и кислоты. Робот оценивает свойства яблок и определяет зависимость между этими свойствами и вкусом.

После такого обучения робот сможет самостоятельно отбирать самые вкусные яблоки. Однако в этот процесс может вкрасться ошибка, например, робот может посчитать вкусным червивое яблоко, ведь он ничего не знает о червях. Поэтому чем больше свойств предмета анализируется в процессе машинного обучения, тем ниже будет вероятность ошибки.

Точно так же, обучается и Яндекс находить лучшие страницы под любые поисковые запросы. Специально обученные сотрудники Яндекса (асессоры) учат поисковую систему «отделять зерна от плевел». Асессоры задают поисковой системе ряд запросов, а затем детально оценивают, качество поисковой выдачи. Яндекс же определяет закономерности между свойствами запросов и релевантных страниц.

Обучение Яндекса происходит постоянно. Получая все больше и больше данных для анализа, искусственный интеллект Яндекса развивается и учится отвечать на вопросы пользователей все более правильно.

Матрикснет на страже топа

Получается, чуть ли не идеальная картина. Есть искусственный интеллект, который нужно просто обучать, и он будет становиться все совершеннее и совершеннее. Но так ли все прекрасно на самом деле? Почти…  Но у машинного обучения есть один большой недостаток, называемый переобучением. Суть переобучения в том, что алгоритм отлично работает на примерах, участвующих в обучении, но плохо в реальной ситуации. Получается, что в процессе обучения система обнаруживает какие-то случайные несуществующие закономерности в обучающей выборке. И в результате Яндекс мог подмешивать в поисковую выдачу нерелевантные результаты.

1 апреля 2009 года Яндекс объявил о запуске нового алгоритма машинного обучения – Матрикснета. Особенность данного алгоритма – устойчивость к переобучению и гибкий учет сотен и тысяч факторов ранжирования. Кроме того, Матрикснет позволяет применять особые правила ранжирования по узким запросам.

Есть ли шансы у оптимизаторов?

Что это значит для оптимизаторов? Фактически, сегодня Яндекс получил возможность подстраивать алгоритмы ранжирования отдельно в каждом регионе и в каждой тематической нише. А значит, особенности продвижения сайтов в разных ситуациях могут значительно отличаться. Матрикснет также дает Яндексу возможность быстрее и гибче подстраиваться под изменяющиеся реалии интернета. В результате Яндекс может значительно легче отсеивать поисковый спам, некачественные и «переоптимизированные» сайты.

Стало ли сложнее продвигать сайты? И да, и нет. Продвигать сайты стало дороже – это точно, и продвижение сайтов стало бесспорно занимать больше времени. Но есть и хорошая новость, продвижение сайтов стало более стабильным. Хороший сайт, попавший в топ, пускает там корни. Если оптимизатор делает все основательно и правильно, то выбить его сайт из топа ой как не просто.  А вот как заставить Яндекс «влюбиться» в ваш сайт и подарить ему место в топе мы далее и обсудим…

Предыдущие части пособия «Эффективное продвижение в Яндексе»:

На пути к вершине (часть 1)

Коллеги, с удовольствием отвечу на уточняющие вопросы в комментариях. Мне интересно знать ваше мнение о статье 😉

2
Алексей (Основатель Gogetlinks): Алексей Кураков - руководитель Gogetlinks, более 8 лет занимается разработкой и управлением интернет-проектами. С 2007 года профессионально работает в сфере SEO.

View Comments (6)

  • Спасибо за статьи, интересно, интригующе, но складывается впечатление, что мы снова прочитаем много воды, вместо реальных действенных советов. Надеюсь третья часть будет более конкретизированной.

  • Честно говоря занимательно! Искусственный интеллект, самообучение, но как сказал первый комментатор - где конкретика. Я например из поиска пришел за конкретной информацией, а тут красиво но ...

  • Вячеслав, Руслан, эта часть действительно носит теоретический характер. И это вполне оправданно. Хороший профессионал всегда копает в глубь и понимает происхождение, причины и следствия явлений в своей сфере деятельности. Именно на "ковку" такого специалиста и рассчитано пособие.

    Читали первую часть? Там я писал, что слишком много информационного шума и ложной информации вокруг. Отличить зерна от плевел можно лишь, зная как и что работает.

    Конкретный пример. Ваш друг жалуется: "ай-ай-ай, мой сайт выкинули из топа, а он ведь туда заслуженно попал два дня назад. Это, наверное, фильтр" В этой ситуации вы уже четко понимаете, что если тема конкурентная, то фильтр не причем, скорее всего асессорам этот "великолепный" сайт совершенно не понравился. А ваш друг будет продолжать тратить бюджеты на ссылки, то снимая, то покупая их, вместо доработки сайта. А вы при этом уже давно понимаете, в чем причина.

    В общем, я за профессионализм :)

  • А я читаю с удовольствием. Потому что написано все более чем понятным языком и даже профи лишний раз прочитать - более чем полезно. Если вы не против, предложу все-таки тему для поста. Так сказать наболевшее - как оценивать бюджет на продвижение, если использовать только ГГЛ (использую только ГГЛ и Миру более полугода)? Возможно, стоило бы подумать о создании калькуляторов (в интерфейсе оптимизаторов хотя бы) и стратегий? Честно говоря, я бы об этом почитал. Бюджет с использованием сапы строится легко и непринужденно... но кому нужна сапа в сфере ВК, верно?