Как проверить индексацию сайта

Для ранжирования сайтов поисковые системы используют специальные собственные базы данных, где находится информация о содержимом интернет-страниц. Сбор сведений для нее идет во время индексации, при которой Яндекс или Google узнает о существования сайта и отдельных страниц.

Как провести индексацию

Как проконтролировать выполненную индексацию на сайте

Почему не происходит индексация?

Как вебмастеру ускорить индексацию URL-сайта

Как провести индексацию?

Роботы поисковых систем в режиме 24/7 обходят всемирную паутину в поисках новых сайтов и данных. Среди них есть специализированные, что позволяет Яндекс или Гугл быстрее анализировать ситуацию, учитывая появление каждый день десятков миллионов страниц в интернете, внесении огромнейшего количества правок на существующих уже URL-адресах. В общем случае, краулеров делят на следующие типы:

• общие, выполняющие сканирование интернета для поиска новых сайтов;
• специализированные, ориентированные на обнаружение и индексацию графического контента, видео, фавиконок;
• проверяльщики, анализирующих наличие адаптации сайтов для просмотра на мобильных устройства;
• пауки конкретных сервисов, которые ориентированы на поиск определенного контента (например, Яндекс.Маркет).

Для быстрой бесплатной индексации страниц ресурса о нем вебмастеру необходимо сообщить Яндекс или Гугл с помощью следующих способов:

• применение инструментов поисковых систем;
• использование ссылок с проиндексированных уже сайтов.

Поисковики имеют специальные сервисы для добавления информации о ресурсах в собственную базу данных (Search Console, Яндекс.Вебмастер). В последнем создан специализированный инструмент, дающий возможность отправлять по 20 и более ссылок на страницы, которые должны быть проиндексированы в первоочередном порядке. Если надо проиндексировать целый сайт, то его необходимо добавить в базу данных и указать действующую ссылку на Sitemap. С этого момента поисковые системы Яндекс и Гугл начнут регулярно посещать ресурс в поиске новой информации.

Ссылки на сторонних ресурсах также позволят обратить внимание поисковых систем на страницу с новым полезным контентом и перенести в выдачу. Идеально, если это информационный портал с частым обновлением информации. В отдельных случаях индексирование здесь без лишних действий вебмастера сервисами займет несколько часов, так как Гугл и Яндекс любят подобные ресурсы.

Как проконтролировать выполненную индексацию на сайте

Попадание данных о странице или сайте в базу поисковиков Google или Яндекс еще не свидетельствует о прохождении индексации. На это может уходить довольно большое количество времени из-за «занятости» роботов, ошибок при добавлении данных, иных причин. Уточнить прохождение индексации можно с помощью следующих способов:

• встроенные сервисы поисковых систем Яндекс и Google;
• команда «site»;
• специальные бесплатные и платные сторонние сервисы, расширения или плагины.

В консоли оптимизатора Яндекс.Вебмастер и Search Console есть специальные инструменты по проверке статуса URL адреса и отдельных страниц. В соответствующее поле достаточно указать их и получить информацию о наличии в индексе поисковой системы.

Команда «site» позволяет определить сразу находящиеся в индексе страницы интернет-ресурса. Для этого введите в поисковую строку site:website, где website представляет адрес вашей главной страницы. Проведение поиска покажет все известные Google или Яндекс страницы ресурса.

Сторонние расширения и сервисы по проверке индексации разнообразны и позволяет проводить вебмастеру быструю проверку. Примером будет, например, Megaindex, позволяющий контролировать индексацию сразу 50 страниц в поисковых системах. Также есть специальные плагины для браузеров (например, расширение RDS Bar), предоставляющие подробные данные об открытой в нем странице. Количество подобных сервисов для проверки прохождения индексирования огромно. Часть из них проводят комплексную проверку сайта, которая необходима вебмастеру и оптимизатору, поэтому выбор конкретных вариантов оставив вам, исходя из предпочтений, пожелания платить за расширенные функции подобных сервисов (цена может отличаться в десятки раз).

Почему не происходит индексация?

На обход сайта краулерам поисковиков Яндекс и Гугл необходимо время. Часто оно сильно затягивается и можно предполагать о проблемах с индексацией и далее в выдаче. Также количество страниц в базе данных сервиса должно быть сравнимо с общим числом на сайте.  Наличие серьезных отклонений дает повод серьезно задуматься. Например, если в индексе число страниц значительно меньше, чем в реальности, то для вебмастера это признак ошибок. Речь про малую информативость, неуникальность контента, кражу последнего с дальнейшим размещением на сайтах, которые индексируются быстрее. Если страниц в индексе Яндекс или Гугл значительно больше, чем в реальности, то это признак наличия дублей, открытости для поисковых систем технических или малоинформативных страниц. Также обратите внимание на моменты, когда сильно отличается количество проиндексированных страниц в Google и Яндекс.

Если индексирование URL сервисами не происходит или сильно затягивается, то проконтролируйте следующие моменты:

• присутствует и верен ли файл карты sitemap.xml, а также robots.txt, которые находятся в корневом каталоге сайта и содержит ссылки на страницы, которые должны быть проиндексированы;
• насколько новый сайт, ведь для «старичков» индексация и попадание в выдачу в Яндекс должна проходить оперативно;
• отсутствуют ли настройки, запрещающие индексацию URL-адреса, которые могут быть добавлены в некоторых CMS или с помощью тега noindex;
• проверьте скорость загрузки страниц сайта, которая должна быть комфортной для пользователя и роботов поисковых систем;
• качество сайта, ведь поисковая система Яндекс или Гугл требует наличия полезного уникального материала на страницах, соответствующего запросам, так как в противном случае есть риск попадания под баны и фильтры, закрытия сайта для поисковиков.

Как вебмастеру ускорить индексацию URL-сайта

Оптимизатор со своей стороны может ускорить процесс индексации новых страниц на сайте. Это особенно актуально при массовом появлении информации, так как за один раз робот Яндекс или Google проходит только ограниченное количество страниц. Для этого есть несколько методов кроме физического добавления адресов в Яндекс.Вебмастер или Search Console:

• Установите автоматическое обновление файла с sitemap, robots.txt, куда должны сразу попадать новые страницы. Это позволит роботам лучше понимать структуру ресурса, видеть места для посещения, приоритетность, которую также можно задать в карте.
• Контролируйте дубли страниц и уникальность контента, так как они уничтожают возможности робота на вашем сайте, который просто не доходит до нужных страниц.
• Проверяете количество битых ссылок и качество внутренней перелинковки, так как переход на страницу 404 или уже посещенные разделы отнимает время и ведет к ухудшению скорости индексации новых страниц.
• Корректно настройте файл robots.txt, с помощью которого новые страницы должны быть открыты для роботов Яндекс и индексации (этот файл относится к категории рекомендаций, но пренебрегать ею не стоит).
• Оптимизируйте скорость загрузки вашего URL-сайта, которая не должна превышать 3-5 секунд, а время ответа сервера находиться в пределах 200 мс (это необходимо не только для индексации, но и улучшения поведенческих навыков, так как пользователь не готов долго ждать загрузку ресурса).
• Выполните проверку внутренней перелинковки, которая позволит эффективно распределить внутренний вес на страницах, упростит навигацию роботу и непосредственно пользователям.
• Выводите превью ваших новых страниц на главную и размещайте ссылки в социальных сетях, что позволит дополнительно привлечь пользователей и ускорит индексацию в Яндекс.
• Регулярно обновляйте сайт, добавляйте новые материалы, что привлечет не только пользователей, но и роботов, которые будут знать о наличии «свежей» информации и страниц, достойных внимания и лишнего захода.

В завершение добавим, что быстрая индексация страниц сайта только первый шаг в раскрутке на пути к попаданию на первые места в выдаче по ключевым запросам. Для достижения нужной цели вебмастеру еще надо сделать много действий и тонких настроек, которые обеспечат достаточный приток пользователей на протяжении длительного времени.