Как Яндекс ранжирует сайты (часть 2)

Задача Яндекса – дать наилучший ответ на поисковый запрос пользователя. Для этого Яндексу, прежде всего, необходимо проиндексировать миллиарды документов, найденных по всему интернету, чтобы не упустить ничего важного. А затем в тот момент, когда пользователь задает поисковый запрос быстро вывести релевантные, то есть соответствующие запросу страницы.

Однако в день к Яндексу обращаются миллионы пользователей с разными запросами. Трудно представить, что сотрудники Яндекса могут всегда проконтролировать, что по каждому запросу выдаются наилучшие результаты. Так как же Яндекс решает задачу поиска наиболее подходящих страниц?

Поисковая система – мощный искусственный интеллект

Решение заключается в машинном обучении поисковой системы и превращении Яндекса в своеобразный искусственный интеллект. Поясним это на примере из статьи «Матрикснет – новое качество поиска Яндекса».

Представьте, что перед нами стоит задача научить робота отбирать самые вкусные яблоки. Для этого мы берем ящик яблок и по очереди пробуем все яблоки на вкус, раскладывая вкусные яблоки в одну сторону, а невкусные – в другую. Теперь наступает очередь робота. Конечно, робот не может попробовать яблоки на вкус, но он может оценить их размер, цвет, твердость, содержание сахара и кислоты. Робот оценивает свойства яблок и определяет зависимость между этими свойствами и вкусом.

После такого обучения робот сможет самостоятельно отбирать самые вкусные яблоки. Однако в этот процесс может вкрасться ошибка, например, робот может посчитать вкусным червивое яблоко, ведь он ничего не знает о червях. Поэтому чем больше свойств предмета анализируется в процессе машинного обучения, тем ниже будет вероятность ошибки.

Точно так же, обучается и Яндекс находить лучшие страницы под любые поисковые запросы. Специально обученные сотрудники Яндекса (асессоры) учат поисковую систему «отделять зерна от плевел». Асессоры задают поисковой системе ряд запросов, а затем детально оценивают, качество поисковой выдачи. Яндекс же определяет закономерности между свойствами запросов и релевантных страниц.

Обучение Яндекса происходит постоянно. Получая все больше и больше данных для анализа, искусственный интеллект Яндекса развивается и учится отвечать на вопросы пользователей все более правильно.

Матрикснет на страже топа

Получается, чуть ли не идеальная картина. Есть искусственный интеллект, который нужно просто обучать, и он будет становиться все совершеннее и совершеннее. Но так ли все прекрасно на самом деле? Почти…  Но у машинного обучения есть один большой недостаток, называемый переобучением. Суть переобучения в том, что алгоритм отлично работает на примерах, участвующих в обучении, но плохо в реальной ситуации. Получается, что в процессе обучения система обнаруживает какие-то случайные несуществующие закономерности в обучающей выборке. И в результате Яндекс мог подмешивать в поисковую выдачу нерелевантные результаты.

1 апреля 2009 года Яндекс объявил о запуске нового алгоритма машинного обучения – Матрикснета. Особенность данного алгоритма – устойчивость к переобучению и гибкий учет сотен и тысяч факторов ранжирования. Кроме того, Матрикснет позволяет применять особые правила ранжирования по узким запросам.

Есть ли шансы у оптимизаторов?

Что это значит для оптимизаторов? Фактически, сегодня Яндекс получил возможность подстраивать алгоритмы ранжирования отдельно в каждом регионе и в каждой тематической нише. А значит, особенности продвижения сайтов в разных ситуациях могут значительно отличаться. Матрикснет также дает Яндексу возможность быстрее и гибче подстраиваться под изменяющиеся реалии интернета. В результате Яндекс может значительно легче отсеивать поисковый спам, некачественные и «переоптимизированные» сайты.

Стало ли сложнее продвигать сайты? И да, и нет. Продвигать сайты стало дороже – это точно, и продвижение сайтов стало бесспорно занимать больше времени. Но есть и хорошая новость, продвижение сайтов стало более стабильным. Хороший сайт, попавший в топ, пускает там корни. Если оптимизатор делает все основательно и правильно, то выбить его сайт из топа ой как не просто.  А вот как заставить Яндекс «влюбиться» в ваш сайт и подарить ему место в топе мы далее и обсудим…

Предыдущие части пособия «Эффективное продвижение в Яндексе»:

На пути к вершине (часть 1)

Коллеги, с удовольствием отвечу на уточняющие вопросы в комментариях. Мне интересно знать ваше мнение о статье 😉

  

Отзывов (7)

  1. #1 Вячеслав → 14 Сентябрь 2010 в 20:42

    Спасибо за статьи, интересно, интригующе, но складывается впечатление, что мы снова прочитаем много воды, вместо реальных действенных советов. Надеюсь третья часть будет более конкретизированной.

  2. #2 Руслан → 15 Сентябрь 2010 в 02:27

    Честно говоря занимательно! Искусственный интеллект, самообучение, но как сказал первый комментатор — где конкретика. Я например из поиска пришел за конкретной информацией, а тут красиво но …

  3. #3 Алексей (руководитель Gogetlinks) → 15 Сентябрь 2010 в 08:19

    Вячеслав, Руслан, эта часть действительно носит теоретический характер. И это вполне оправданно. Хороший профессионал всегда копает в глубь и понимает происхождение, причины и следствия явлений в своей сфере деятельности. Именно на «ковку» такого специалиста и рассчитано пособие.

    Читали первую часть? Там я писал, что слишком много информационного шума и ложной информации вокруг. Отличить зерна от плевел можно лишь, зная как и что работает.

    Конкретный пример. Ваш друг жалуется: «ай-ай-ай, мой сайт выкинули из топа, а он ведь туда заслуженно попал два дня назад. Это, наверное, фильтр» В этой ситуации вы уже четко понимаете, что если тема конкурентная, то фильтр не причем, скорее всего асессорам этот «великолепный» сайт совершенно не понравился. А ваш друг будет продолжать тратить бюджеты на ссылки, то снимая, то покупая их, вместо доработки сайта. А вы при этом уже давно понимаете, в чем причина.

    В общем, я за профессионализм :)

  4. #4 Мухачев → 16 Сентябрь 2010 в 14:52

    А я читаю с удовольствием. Потому что написано все более чем понятным языком и даже профи лишний раз прочитать — более чем полезно. Если вы не против, предложу все-таки тему для поста. Так сказать наболевшее — как оценивать бюджет на продвижение, если использовать только ГГЛ (использую только ГГЛ и Миру более полугода)? Возможно, стоило бы подумать о создании калькуляторов (в интерфейсе оптимизаторов хотя бы) и стратегий? Честно говоря, я бы об этом почитал. Бюджет с использованием сапы строится легко и непринужденно… но кому нужна сапа в сфере ВК, верно?

  5. #5 Виктор Амелькин → 17 Сентябрь 2010 в 17:51

    Вода.

  6. #6 volos_86 → 18 Сентябрь 2010 в 02:13

    У Яндекса, всё хорошо. Кроме поиска…

  7. #7 Какие сайты любит Яндекс? (часть 3) → 21 Сентябрь 2010 в 10:22

    […] Как Яндекс ранжирует сайты (часть 2) […]


Статьи навсегда Форум Биржа и магазин контента Биржа сайтов Автопродвижение сайта

О проекте   |   Оптимизаторам   |   Вебмастерам   |   Блог   |   Правила/Частые вопросы   |   Техподдержка