Задача Яндекса – дать наилучший ответ на поисковый запрос пользователя. Для этого Яндексу, прежде всего, необходимо проиндексировать миллиарды документов, найденных по всему интернету, чтобы не упустить ничего важного. А затем в тот момент, когда пользователь задает поисковый запрос быстро вывести релевантные, то есть соответствующие запросу страницы.
Однако в день к Яндексу обращаются миллионы пользователей с разными запросами. Трудно представить, что сотрудники Яндекса могут всегда проконтролировать, что по каждому запросу выдаются наилучшие результаты. Так как же Яндекс решает задачу поиска наиболее подходящих страниц?
Поисковая система – мощный искусственный интеллект
Решение заключается в машинном обучении поисковой системы и превращении Яндекса в своеобразный искусственный интеллект. Поясним это на примере из статьи «Матрикснет – новое качество поиска Яндекса».
Представьте, что перед нами стоит задача научить робота отбирать самые вкусные яблоки. Для этого мы берем ящик яблок и по очереди пробуем все яблоки на вкус, раскладывая вкусные яблоки в одну сторону, а невкусные – в другую. Теперь наступает очередь робота. Конечно, робот не может попробовать яблоки на вкус, но он может оценить их размер, цвет, твердость, содержание сахара и кислоты. Робот оценивает свойства яблок и определяет зависимость между этими свойствами и вкусом.
После такого обучения робот сможет самостоятельно отбирать самые вкусные яблоки. Однако в этот процесс может вкрасться ошибка, например, робот может посчитать вкусным червивое яблоко, ведь он ничего не знает о червях. Поэтому чем больше свойств предмета анализируется в процессе машинного обучения, тем ниже будет вероятность ошибки.
Точно так же, обучается и Яндекс находить лучшие страницы под любые поисковые запросы. Специально обученные сотрудники Яндекса (асессоры) учат поисковую систему «отделять зерна от плевел». Асессоры задают поисковой системе ряд запросов, а затем детально оценивают, качество поисковой выдачи. Яндекс же определяет закономерности между свойствами запросов и релевантных страниц.
Обучение Яндекса происходит постоянно. Получая все больше и больше данных для анализа, искусственный интеллект Яндекса развивается и учится отвечать на вопросы пользователей все более правильно.
Матрикснет на страже топа
Получается, чуть ли не идеальная картина. Есть искусственный интеллект, который нужно просто обучать, и он будет становиться все совершеннее и совершеннее. Но так ли все прекрасно на самом деле? Почти… Но у машинного обучения есть один большой недостаток, называемый переобучением. Суть переобучения в том, что алгоритм отлично работает на примерах, участвующих в обучении, но плохо в реальной ситуации. Получается, что в процессе обучения система обнаруживает какие-то случайные несуществующие закономерности в обучающей выборке. И в результате Яндекс мог подмешивать в поисковую выдачу нерелевантные результаты.
1 апреля 2009 года Яндекс объявил о запуске нового алгоритма машинного обучения – Матрикснета. Особенность данного алгоритма – устойчивость к переобучению и гибкий учет сотен и тысяч факторов ранжирования. Кроме того, Матрикснет позволяет применять особые правила ранжирования по узким запросам.
Есть ли шансы у оптимизаторов?
Что это значит для оптимизаторов? Фактически, сегодня Яндекс получил возможность подстраивать алгоритмы ранжирования отдельно в каждом регионе и в каждой тематической нише. А значит, особенности продвижения сайтов в разных ситуациях могут значительно отличаться. Матрикснет также дает Яндексу возможность быстрее и гибче подстраиваться под изменяющиеся реалии интернета. В результате Яндекс может значительно легче отсеивать поисковый спам, некачественные и «переоптимизированные» сайты.
Стало ли сложнее продвигать сайты? И да, и нет. Продвигать сайты стало дороже – это точно, и продвижение сайтов стало бесспорно занимать больше времени. Но есть и хорошая новость, продвижение сайтов стало более стабильным. Хороший сайт, попавший в топ, пускает там корни. Если оптимизатор делает все основательно и правильно, то выбить его сайт из топа ой как не просто. А вот как заставить Яндекс «влюбиться» в ваш сайт и подарить ему место в топе мы далее и обсудим…
Предыдущие части пособия «Эффективное продвижение в Яндексе»:
На пути к вершине (часть 1)
Коллеги, с удовольствием отвечу на уточняющие вопросы в комментариях. Мне интересно знать ваше мнение о статье 😉
View Comments (6)
Спасибо за статьи, интересно, интригующе, но складывается впечатление, что мы снова прочитаем много воды, вместо реальных действенных советов. Надеюсь третья часть будет более конкретизированной.
Честно говоря занимательно! Искусственный интеллект, самообучение, но как сказал первый комментатор - где конкретика. Я например из поиска пришел за конкретной информацией, а тут красиво но ...
Вячеслав, Руслан, эта часть действительно носит теоретический характер. И это вполне оправданно. Хороший профессионал всегда копает в глубь и понимает происхождение, причины и следствия явлений в своей сфере деятельности. Именно на "ковку" такого специалиста и рассчитано пособие.
Читали первую часть? Там я писал, что слишком много информационного шума и ложной информации вокруг. Отличить зерна от плевел можно лишь, зная как и что работает.
Конкретный пример. Ваш друг жалуется: "ай-ай-ай, мой сайт выкинули из топа, а он ведь туда заслуженно попал два дня назад. Это, наверное, фильтр" В этой ситуации вы уже четко понимаете, что если тема конкурентная, то фильтр не причем, скорее всего асессорам этот "великолепный" сайт совершенно не понравился. А ваш друг будет продолжать тратить бюджеты на ссылки, то снимая, то покупая их, вместо доработки сайта. А вы при этом уже давно понимаете, в чем причина.
В общем, я за профессионализм :)
А я читаю с удовольствием. Потому что написано все более чем понятным языком и даже профи лишний раз прочитать - более чем полезно. Если вы не против, предложу все-таки тему для поста. Так сказать наболевшее - как оценивать бюджет на продвижение, если использовать только ГГЛ (использую только ГГЛ и Миру более полугода)? Возможно, стоило бы подумать о создании калькуляторов (в интерфейсе оптимизаторов хотя бы) и стратегий? Честно говоря, я бы об этом почитал. Бюджет с использованием сапы строится легко и непринужденно... но кому нужна сапа в сфере ВК, верно?
Вода.
У Яндекса, всё хорошо. Кроме поиска...