Как Яндекс индексирует сайты
Процесс индексации описан в документе Индексирование интернета на сайте Яндекса. Остановимся на самых главных моментах:
«Поисковый индекс, данные о типе документов, кодировке, языке и сохраненные копии документов вместе составляют поисковую базу. Она обновляется постоянно, но, чтобы это обновление стало доступно пользователям, её нужно перенести на «базовый поиск». Базовый поиск — сервера, которые отвечают пользователям на запросы. Туда переносится не вся поисковая база, а только её полезная часть — без спама, дубликатов сайтов (зеркал) и других ненужных документов.
Обновление поисковой базы из хранилища основного робота попадает в поиск «пакетами» — раз в несколько дней. Этот процесс создаёт дополнительную нагрузку на сервера, поэтому производится ночью, когда к Яндексу обращаются на порядок меньше пользователей. Сначала новые части базы помещаются рядом с такими же частями из прошлого обхода. Затем они проверяются по целому ряду факторов, чтобы обновление не ухудшило качество поиска. Если проверка прошла успешно, новая часть базы заменяет собой старую».
Жирным выделено главное. То есть у Яндекса одновременно существует два параллельных индекса интернета. Один из них – актуальный не очищенный, который меняется в режиме реального времени, пока поисковые роботы проверяют и скачивают страницы со всего интернета.
Второй индекс – это очищенный индекс, по которому происходит поиск, когда пользователь отправляет поисковый запрос. В этом индексе нет забаненных сайтов, исключены спам-страницы и зеркала.
Апдейтом называется процесс, когда документы из первого актуального индекса попадают во второй очищенный, по которому и происходит поиск. Это и есть – узкое место всей системы, требующее больших вычислительных мощностей. Поэтому то апдейт происходит не каждый день в целях экономии вычислительных мощностей.
И еще один неприятный момент — в апдейт Яндекс выкладывает документы, проиндексированные роботом не до текущего момента, а до предыдущего апдейта. Например, апдейты были 1, 10 и 20 числа. Так вот 10 числа в основной «очищенный индекс» попадут только документы, которые робот нашел до 1 числа, а 20 числа — только те документы, которые робот нашел с 1 по 10 число. В итоге, индексация новых страниц на среднем сайте занимает обычно не менее 2-3 недель.
Очевидно в отличие от Яндекса Гугл обновляет свой «очищенный» индекс постоянно, но не целиком, а блоками. При такой схеме нагрузка на мощности равномерно распределяется в течение всего, дня, недели, месяца, в любой момент времени индекс более актуален. Каждый из нас замечал, то Гугл гораздо быстрее индексирует новые документы.
Реакция Gogetlinks на долгие апдейты
Теперь должно быть понятно, что несмотря на долгое отсутствие апдейта, значительная часть новых ссылок уже проиндексирована, но не находится в основном индексе. Необходимо дождаться апдейта, чтобы в индексе появились страницы, добавленные до 16 мая. И только во второй апдейт появятся более новые страницы.
Мы уже продлили сроки индексации в связи с рекордно долгим отсутствием апдейта, также были продлены сроки на решение проблем со страницами, выпавшими из индекса. И готовы при необходимости добавить столько времени, сколько потребуется, в связи с задержкой апдейта.
Это очень важно для оптимизаторов, так как позволяет избежать мерцания, то есть снятия новых ссылок, которые по факту уже известны Яндексу, но не выложены в основной индекс. Это еще более важно для вебмастеров, так как связано с их доходами. И в этом плане мы максимально защищаем интересы обеих сторон.
Обновлено: В ту же ночь после выхода этой статьи был апдейт — выложен индекс по 24 мая. Поздравляю всех с этим позитивным событием! Надо было статью на неделю раньше написать )))
Обновлено 2: Рано обрадовались, еще до обеда Яндекс начал откатывать апдейт. Продолжаем мечтать об апдейте )
View Comments (178)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
1 2 3 … 7 Далее →Прочитали, но продолжать работу с заблокированными средствами пока не интересно, кушать хочется всем. Так что защищайте, защищайте и дальше свои интересы, только не пишите что Вы интересы Вебмастеров защищитили.
Сергей, ваши средства как вебмастера могут блокироваться только при выпадении страниц из индекса в течение 20 дней после оплаты. Это защита интересов оптимизаторов. Или вы считаете нормальным, что человек заплатил деньги, а меньше чем через месяц его ссылка не в индексе? Не забывайте, что именно оптимизаторы платят деньги, и платить за воздух они определенно не хотят.
Конечно конечно, только вот апа не было, и они еще туда войдут, а размещать чужие ссылки за воздух я не хочу.
А вот останутся ли ссылки на моем сайте после этого, большой вопрос.
Денег вывести не могу, работать не могу, потому что материалы следующие купить не могу, чтобы Вы новые обзоры, которые снова еще могут выпасть, снова блокировали за них средства.
Так ерунду пишите. К тому же по рейтингу сайта наверное видно какая у него индексация, 5 процентов или 100. Думаю второе как раз и говорит о том, что в индекс то они все равно войдут, до этого входили 100 процентов. Исключая конечно форс-мажок - типа Яндекс закроется или еще что, Ваша контора закроется.
Но тогда у Вас будет возможность блокировать средства.
Не забывайте, что без наличия вебмастеров ни одна биржа гроша не стоит! даже ГГЛ!
А и добавить-то, нечего...
Уважаемая ГГЛ, работайте в пользу обеих сторон, ведь от результатов оптимизаторов и доходов вебмастеров, в целом и зависит Ваш доход. Если бы не Яндекс, конечно же.
Кстати говоря, и кого имеется инсайд по поводу апдейтов, что же на самом деле творится с АПами? Не связно ли это с "Минусинском"? :) Ведь эта задержка, как мне кажется, многих оптимизаторов заставит "психануть" и снять ссылки, что крайне негативно скажется на продвижении :)
Если честно, то напрягает не на шутку, когда какие-никакие страницы попадают в осн. индекс до этого гребанного апа и тут же блокируются средства в счет выпавших из индекса.
Ув. администрация, ничего что в этот период у вас осели миллионы рублей (именно у вас, а не ВМ или оптимизаторов), и помимо свей официальной комиссии с этих денег можно иметь 1-2% в месяц (как минимум). А на волатильности рубля вообще можно хорошие деньги поднимать.
Отдавайте тогда деньги третьим лицам или осуществляйте все через код протекции, чтобы потратить нельзя было.
А то все в панике, а вы все равно в шоколаде!
Владислав, не нужно фантазировать. Мыслите прямо. Ссылка выпала из индекса в течение 20 дней после оплаты. Оптимизатора это не может радовать, поэтому первые 20 дней ответственность за индексацию лежит на вебмастере.
У меня есть предложение, которое наверняка поддержат все вебмастера. Вероятно и многие оптимизаторы.
Более того, через год или через два вам полюбому придется так сделать, т.е. это лишь вопрос времени - уверен.
Предложение связано с тем, что учитывать индексацию гугла. Я не говорю о том, что 100% переключиться в подсчете индексации на индекс гугла, но, скажем 50% обзора можно оплачивать, если страница вошла в индекс гугла и там находится. остальные 50%, когда войдет в индекс яндекса.
Думаю, это вполне уместно, учитывая что доля поискового трафика в рунете у гугла уже 40,5%. А в течение этого года по моим подсчетам яндекс и гугл (к концу года) могут сравняться.
Пруф http://www.liveinternet.ru/stat/ru/searches.html?date=2015-06-01;period=month
Индексацию по гуглу добавим позже. Это будет на выбор оптимизатора: оплачивать ли при индексации в яндексе или гугле.
Интересно :) Ждем!
Отлично! Внедряйте по-быстрее. Это то чего ждут все украинские вебмастера.
Да, это важно. Поскольку здесь многие оптимизаторы двигают под гугл. У меня даже с агс-ного сайта на снимают ссылки. Говорят, что им по барабану Яндекс, а важен Гугл. Так, что такое изменение будет востребованным.
Поддерживаю идею как оптимизатор.50% это нормально при индексации и Гоше.Интересно всем это.
"доля поискового трафика в рунете у гугла уже 40,5%"
Этот показатель сегментный, а не глобальный! Т.е. может относиться не к общему поисковому трафику, а все-го лишь к определенным тематикам-группам пользователей. Большинство показной статистики - это скрытый вид рекламы(маркетинга)Гугла. Доля гугла сейчас в пропорциях от 20 до 50% работает.
Согласен с 50/50, но скажу прямо, что гугл больше мусора съедает, страница может попасть в индекс, но не участвовать в поиске, а нужно именно полный функционал ее для пациента.
Яндекс, со своей агонией борьбы с сео рынком, теряет потихоньку и долю рынка, это факт конечно - и это печально.
Я здесь работаю и как оптимизатор и как вебмастер, предлагаю ГГЛ присмотреться к схеме миралинкса в оплате.
Интересное предложение!
Мне нравится подход бирж Miralinks и Rotapost в этом плане, где деньги перечисляются по факту размещения постового со ссылкой. Почему бы с них не брать пример?
Оптимизаторы разбегутся
Так введите расчет сразу для сайтов с индексацией 90%+
Про расчет Sema верно говорит, разве показатель индексации обзоров о качестве площадки не говорит. И уж о том что Вебмастер работает добросовестно.
Интересно, почему не разбежались в Миралинкс.
Вам нравится, а кому-то нет! Я с Ротапоста поэтому и ушла сюда, что там не учитывают индексацию, да и через три месяца свободно вебмастера могут снять ссылки, что и делали. А у тех.поддержки один ответ, что после 3 мес размещения они снимают с себя ответственность за размещение...
+100500 ротапост г..о еще то
После апдейта яндекса, срок индексации так и останется 59 дней?
Вопрос на рассмотрении. По крайней мере, мы должны дождаться второго апдейта.
Тоесть на данный момен останется 69 дней на индексацию до следующего апдейта?
Странно что сохраненная копия за сегодняшнее число, а вчера было за вчерашнее, то есть сохраненка обновляется каждый день.
Сейчас сохраненка и для быстророботной индексации делается.
Индексация статей аномально затянулась. Я даже временно приостановил работу сайта. Продления сроков индексации не заметил.
Яндекс пишет в своем официальном блоге, что они переносят все свои базы в облака, переходят на SAAS - похоже с этим связана и такая задержка индексирования. И конца-краю этому не видать
Они каждый раз куда -то что-то переносят...
Еще раз прочитала все правила размещения обзоров. Раньше при выполнении задания и при одобрении обзора оплата исходила из характера и индексации страниц. Тогда скажите зачем сейчас нужен параметр для оптимизаторов "Индексация страниц"?? Если система производит разблокировку деньги оптимизатора только после индексации страниц в Яндексе.. И согласна с Сергеем и Дмитрием, важно защищать интересы двух сторон... Оптимизаторы из ГГЛ не разбегутся, никто пока более менее грамотного инструмента не придумал...
Наталья, "индексация" была и остается важным параметром для оптимизатора при выборе площадки для размещения. Этот показатель никуда не убирался и по-прежнему действует.