Правильная карта сайта, или sitemap, ускоряет индексацию веб-ресурса более чем в три раза. Это значит, что сайт быстрее появится в выдаче и приведет клиентов. Чем больше на сайте веб-страниц, тем сложнее поисковым роботам его индексировать и тем актуальнее карта сайта.
В карте прописаны все ссылки на ключевые разделы и отдельные страницы: как оглавление книги, в котором указаны названия и страницы для всех глав. Поэтому робот быстро найдет все страницы и добавит их в выдачу.
Поисковые роботы индексируют все страницы по очереди. Сначала они видят главную страницу ресурса, потом первый уровень вложенности и так далее. Для больших ресурсов полная индексация может занимать несколько месяцев, что для онлайн-бизнеса может быть слишком долгим сроком. Чтобы ускорить процесс, создают sitemap: она фактически выносит URL-ссылки на все страницы ресурса на главную, и роботы индексируют все уровни сайта быстрее.
Правила создания карты вашего сайта
Дополнительные возможности XML-карты сайта
Как проинформировать поисковик о наличии sitemap
Если sitemap на ресурсе нет, то это не будет критичной ошибкой. На стабильность работы сайта она не влияет, и для сайтов на 1-10 страниц время индексации увеличится незначительно. Но если на вашем веб-портале несколько сотен или тысяч страниц, то без карты сайта не обойтись. Добавьте sitemap, и вы получите видимый эффект:
- Быструю индексацию сайта, появление его в выдаче Google, Yandex и др.;
- Более результативный в топ по основным ключевикам из семантического ядра;
- Количество служебных или мусорных страниц, дублей, URL-адресов с ошибкой 404 в индексе поисковика будет минимальным.
Вы получите результат продвижения, затратив меньше времени и других ресурсов.
Разновидности карт сайта
Существует примерно десять разновидностей карт сайтов. Их делят на две большие группы по формату:
- HTML-Sitemap
- XML-Sitemap
HTML-Sitemap нужна для удобства использования людьми: вы найдете её почти на каждом крупном сайте в футере («подвале») по ссылке «Карта сайта». Но и поисковые роботы тоже её считывают, и она влияет на продвижение.
XML-Sitemap нужна только для индексации сайта роботами. Физически sitemap — это xml-файл, хранящийся в корневой директории сервера. У неё несколько разновидностей, в частности, карты для Google и Yandex будут выглядеть по-разному.
HTML-формат нагляден, но имеет ограничение по числу ссылок, которые могут быть размещены на одной странице: не более 100. Если их больше, то придется создавать многоуровневую карту, или ограничиться основными разделами. В противном случае поисковики пессимизируют сайт за ссылочный спам.
С технической точки зрения карты в формате HTML имеют структуру дерева. Для повышения наглядности ее элементы могут быть оформлены графическими инструментами, CSS-стилями, JS-скриптами. Размещать карту ресурса в зависимости от специфики и размеров последнего можно в следующих местах:
- ошибка с возвратом страницы 404
- отдельная специальная страница со списком
- навигационное меню сбоку страницы
- футер («подвал»)
Sitemap в формате .xml представляет файл с набором ссылок сайта в специальном формате, который чаще всего находится в корневой папке сайта. Использование именно этого варианта имеет следующие преимущества:
- это специальный формат, который одобрен непосредственно поисковиками, включая Яндекс, Google;
- возможность указания до 50 000 ссылок в одном файле sitemap;
- возможность определения пула закрытых для индексирования страниц;
- возможность указания частоты обновления ваших страниц и установки относительного приоритета для роботов.
Обратим внимание, что последние параметры в sitemap выступают в качестве рекомендации, но не указания для робота поисковой системы.
Использование XML-карты для фомирования sitemap обязательно для ресурсов при выполнении одного из следующих условий:
- большой размер (в этом случае поисковые роботы могут пропускать и поздно индексировать изменения или создание новых страниц);
- неоднозначная внутренняя перелинковка (часто станица может быть пропущена роботом поисковой системы при условии, что она становится доступной при определенных условиях или находится в скрытом месте);
- наличие URL-страниц без специальных навигационных ссылок;
- высокая степень вложенности.
Файл XML-карты для вашего sitemap должен соответствовать следующим условиям:
- кодировка исключительно UTF-8;
- предельный размер файла sitemap в несжатом состоянии – 50 МБ;
- максимальное число ссылок в одном файле – 50 000;
- при обращении к данному файлу сервер, где расположен сайт, должен возвращать обязательно код 200 HTTP;
- ссылки сайта соответствуют главную зеркалу и домену.
Правила создания карты вашего сайта
Для формирования sitemap можно использовать следующие инструменты:
- генерация sitemap на CMS (система управления, на которой чаще всего ведут разработку для дальнейшего упрощения наполнения контентом, обслуживания) при наличии у нее подобной возможности, которая обычно представлена в формате дополнительных плагинов или сервисов;
- скачивание XML-карты вашего сайта со специального стороннего сервиса (часто у последних есть ограничение по функционалу, поэтому обязательно оценивайте полноту итогового результата);
- использование специализированного программного обеспечения (обычно подобное ПО платное, но они обеспечивают формирование полной карты (sitemap), возможность оперативной генерации и обновления данных для нескольких проектов);
- автоматическое формирование с помощью инструментов Bitrix, WordPress, Joomla;
- ручное создание (вариант подходит только для небольших ресурсов из-за высокой трудоемкости процесса).
Дополнительные возможности XML-карты сайта
Кроме ускорения индексации оптимизатор или веб-мастер с помощью XML-карты или sitemap сможет оперативно определять и устранять ряд ошибок:
- закрытие от индексации нужных страниц;
- ошибки во время сканирования;
- ложные ошибки;
- неверная ссылка.
Синтаксис XML-файла sitemap
Для упрощения работы робота и повышения наглядности страницу сайта на sitemap описывается отдельно в тегах . Внутри указывают следующие параметры:
- указание в XML-файле конкретной страницы;
- указание степени регулярности обновления контента на страницы по конкретному URL-адресу. Может иметь значения always, never, yearly, monthly, weekly, daily, hourly. Он предназначен для указания роботу поисковой системы частоты изменения данных. Сегодня тег относится к категории рекомендуемых и не влияет прямым образом на частоту индексации. Тег используется довольно редко.
- указание на дату и время внесения актуальных изменений данных на странице, находящейся по точному конкретному URL-адресу. Это позволит роботу поисковой системы узнать о необходимости дополнительной индексации.
- указание поисковому роботу о важности. Главная страница имеет всегда приоритет 1, а остальные могут находиться в диапазоне 0,1-0,9.
Отдельную историю составляет ситуация, когда сайт генерирует мультимедийный контент (фотографии, видеоролики). Подобный момент также важно отобразить на sitemap, выполненной в формате XML. Это обеспечит дополнительный приток пользователей за счет инструментов типа «Поиск по картинкам», расширения объема данных в базе поисковика о конкретном сайте, поэтому подобной возможностью не стоит пренебрегать. Для этого в XML-файле вашего sitemap указывают дополнительно ряд тегов:
- URL-адрес непосредственно размещаемой для индексации картинки;
- URL-адрес с дополнительной информации о размещенном изображении;
- содержание подписи к картинке;
- указание названия изображения;
- указание локации фотографии;
- указание о наличии лицензии на картинку.
Для видеороликов в XML-карте сайта (sitemap) можно указать следующие дополнительные теги:
- данные о видео-файле;
- URL-адрес размещения страницы с видеоматериалом;
- общее описание к ролику (ограничение в 2050 символов);
- URL-адрес расположения заставки для видеоролика;
- заголовок ролика.
При формировании карты сайта в XML в автоматическом формате или с помощью специальных интернет-сервисов, стороннего ПО надо обязательно проконтролировать отсутствие конфликтов с правилами в robots.txt. Например, в файле XML недопустимо нахождение URL-страниц, которые по задумке не должны попасть в индекс.
Как проинформировать о наличии sitemap
На сегодня доступны следующие варианты:
- непосредственно указание в robot.txt с помощью записи типа: Sitemap: https://nameSite.com/sitemap.xml;
- непосредственно добавление XML-файла в раздел Вебмастера на Яндексе и консоль в сервисе Google Search.
Второй вариант имеет преимущество в возможности сканирования карты интернет-ресурса с указанием возможных ошибок. К числу последних относят:
- ошибка 404 из-за наличия битых ссылок;
- наличие закрытых от индексации страниц;
- проблемы при сканировании адреса;
- возврат ложных ошибок при обращении к URL-адресу.
В справке Вебмастера Яндекса можно сразу найти способы решения подобных проблем для повышения качества индексации с использованием файла XML.
Проверить карту сайта (sitemap) на ошибки можно и с помощью стороннего ПО типа Screaming Frog (этой программе доступно сканирование XML-карт любого типа).