Файл sitemap xml — примеры создания, проверка и анализ

Правильная карта сайта, или sitemap, ускоряет индексацию веб-ресурса более чем в три раза. Это значит, что сайт быстрее появится в выдаче и приведет клиентов. Чем больше на сайте веб-страниц, тем сложнее поисковым роботам его индексировать и тем актуальнее карта сайта. 

В карте прописаны все ссылки на ключевые разделы и отдельные страницы: как оглавление книги, в котором указаны названия и страницы для всех глав. Поэтому робот быстро найдет все страницы и добавит их в выдачу.

Поисковые роботы индексируют все страницы по очереди. Сначала они видят главную страницу ресурса, потом первый уровень вложенности и так далее. Для больших ресурсов полная индексация может занимать несколько месяцев, что для онлайн-бизнеса может быть слишком долгим сроком. Чтобы ускорить процесс, создают sitemap: она фактически выносит URL-ссылки на все страницы ресурса на главную, и роботы индексируют все уровни сайта быстрее.

Разновидности карт сайта

Правила создания карты вашего сайта

Дополнительные возможности XML-карты сайта

Синтаксис XML-файла sitemap

Как проинформировать поисковик о наличии sitemap

Если sitemap на ресурсе нет, то это не будет критичной ошибкой. На стабильность работы сайта она не влияет, и для сайтов на 1-10 страниц время индексации увеличится незначительно. Но если на вашем веб-портале несколько сотен или тысяч страниц, то без карты сайта не обойтись. Добавьте sitemap, и вы получите видимый эффект:

• Быструю индексацию сайта, появление его в выдаче Google, Yandex и др.;
• Более результативный в топ по основным ключевикам из семантического ядра;
• Количество служебных или мусорных страниц, дублей, URL-адресов с ошибкой 404 в индексе поисковика будет минимальным. 

Вы получите результат продвижения, затратив меньше времени и других ресурсов.

Разновидности карт сайта

Существует примерно десять разновидностей карт сайтов. Их делят на две большие группы по формату:

• HTML-Sitemap
• XML-Sitemap

HTML-Sitemap нужна для удобства использования людьми: вы найдете её почти на каждом крупном сайте в футере («подвале») по ссылке «Карта сайта». Но и поисковые роботы тоже её считывают, и она влияет на продвижение.

XML-Sitemap нужна только для индексации сайта роботами. Физически sitemap — это xml-файл, хранящийся в корневой директории сервера. У неё несколько разновидностей, в частности, карты для Google и Yandex будут выглядеть по-разному.

HTML-формат нагляден, но имеет ограничение по числу ссылок, которые могут быть размещены на одной странице: не более 100. Если их больше, то придется создавать многоуровневую карту, или ограничиться основными разделами. В противном случае поисковики пессимизируют сайт за ссылочный спам. 

С технической точки зрения карты в формате HTML имеют структуру дерева. Для повышения наглядности ее элементы могут быть оформлены графическими инструментами, CSS-стилями, JS-скриптами. Размещать карту ресурса в зависимости от специфики и размеров последнего можно в следующих местах:

• ошибка с возвратом страницы 404
• отдельная специальная страница со списком
• навигационное меню сбоку страницы
• футер («подвал»)

Sitemap в формате .xml представляет файл с набором ссылок сайта в специальном формате, который чаще всего находится в корневой папке сайта. Использование именно этого варианта имеет следующие преимущества:

• это специальный формат, который одобрен непосредственно поисковиками, включая Яндекс, Google;
• возможность указания до 50 000 ссылок в одном файле sitemap;
• возможность определения пула закрытых для индексирования страниц;
• возможность указания частоты обновления ваших страниц и установки относительного приоритета для роботов.

Обратим внимание, что последние параметры в sitemap выступают в качестве рекомендации, но не указания для робота поисковой системы.

Использование XML-карты для фомирования sitemap обязательно для ресурсов при выполнении одного из следующих условий:

• большой размер (в этом случае поисковые роботы могут пропускать и поздно индексировать изменения или создание новых страниц);
• неоднозначная внутренняя перелинковка (часто станица может быть пропущена роботом поисковой системы при условии, что она становится доступной при определенных условиях или находится в скрытом месте);
• наличие URL-страниц без специальных навигационных ссылок;
• высокая степень вложенности.

Файл XML-карты для вашего sitemap должен соответствовать следующим условиям:

• кодировка исключительно UTF-8;
• предельный размер файла sitemap в несжатом состоянии – 50 МБ;
• максимальное число ссылок в одном файле – 50 000;
• при обращении к данному файлу сервер, где расположен сайт, должен возвращать обязательно код 200 HTTP;
• ссылки сайта соответствуют главную зеркалу и домену.

Правила создания карты вашего сайта

Для формирования sitemap можно использовать следующие инструменты:

• генерация sitemap на CMS (система управления, на которой чаще всего ведут разработку для дальнейшего упрощения наполнения контентом, обслуживания) при наличии у нее подобной возможности, которая обычно представлена в формате дополнительных плагинов или сервисов;
• скачивание XML-карты вашего сайта со специального стороннего сервиса (часто у последних есть ограничение по функционалу, поэтому обязательно оценивайте полноту итогового результата);
• использование специализированного программного обеспечения (обычно подобное ПО платное, но они обеспечивают формирование полной карты (sitemap), возможность оперативной генерации и обновления данных для нескольких проектов);
• автоматическое формирование с помощью инструментов Bitrix, WordPress, Joomla;
• ручное создание (вариант подходит только для небольших ресурсов из-за высокой трудоемкости процесса).

Дополнительные возможности XML-карты сайта

Кроме ускорения индексации оптимизатор или веб-мастер с помощью XML-карты или sitemap сможет оперативно определять и устранять ряд ошибок:

• закрытие от индексации нужных страниц;
• ошибки во время сканирования;
• ложные ошибки;
• неверная ссылка.

Синтаксис XML-файла sitemap 

Для упрощения работы робота и повышения наглядности страницу сайта на sitemap описывается отдельно в тегах . Внутри указывают следующие параметры:

• указание в XML-файле конкретной страницы;
• указание степени регулярности обновления контента на страницы по конкретному URL-адресу. Может иметь значения always, never, yearly, monthly, weekly, daily, hourly. Он предназначен для указания роботу поисковой системы частоты изменения данных. Сегодня тег относится к категории рекомендуемых и не влияет прямым образом на частоту индексации. Тег используется довольно редко.
• указание на дату и время внесения актуальных изменений данных на странице, находящейся по точному конкретному URL-адресу. Это позволит роботу поисковой системы узнать о необходимости дополнительной индексации.
• указание поисковому роботу о важности. Главная страница имеет всегда приоритет 1, а остальные могут находиться в диапазоне 0,1-0,9.

Отдельную историю составляет ситуация, когда сайт генерирует мультимедийный контент (фотографии, видеоролики). Подобный момент также важно отобразить на sitemap, выполненной в формате XML. Это обеспечит дополнительный приток пользователей за счет инструментов типа «Поиск по картинкам», расширения объема данных в базе поисковика о конкретном сайте, поэтому подобной возможностью не стоит пренебрегать. Для этого в XML-файле вашего sitemap указывают дополнительно ряд тегов:

• URL-адрес непосредственно размещаемой для индексации картинки;
• URL-адрес с дополнительной информации о размещенном изображении;
• содержание подписи к картинке;
• указание названия изображения;
• указание локации фотографии;
• указание о наличии лицензии на картинку.

Для видеороликов в XML-карте сайта (sitemap) можно указать следующие дополнительные теги:

• данные о видео-файле;
• URL-адрес размещения страницы с видеоматериалом;
• общее описание к ролику (ограничение в 2050 символов);
• URL-адрес расположения заставки для видеоролика;
• заголовок ролика.

При формировании карты сайта в XML в автоматическом формате или с помощью специальных интернет-сервисов, стороннего ПО надо обязательно проконтролировать отсутствие конфликтов с правилами в robots.txt. Например, в файле XML недопустимо нахождение URL-страниц, которые по задумке не должны попасть в индекс.

Как проинформировать о наличии sitemap

На сегодня доступны следующие варианты:

• непосредственно указание в robot.txt с помощью записи типа: Sitemap: https://nameSite.com/sitemap.xml;
• непосредственно добавление XML-файла в раздел Вебмастера на Яндексе и консоль в сервисе Google Search.

Второй вариант имеет преимущество в возможности сканирования карты интернет-ресурса с указанием возможных ошибок. К числу последних относят:

• ошибка 404 из-за наличия битых ссылок;
• наличие закрытых от индексации страниц;
• проблемы при сканировании адреса;
• возврат ложных ошибок при обращении к URL-адресу.

В справке Вебмастера Яндекса можно сразу найти способы решения подобных проблем для повышения качества индексации с использованием файла XML.

Проверить карту сайта (sitemap) на ошибки можно и с помощью стороннего ПО типа Screaming Frog (этой программе доступно сканирование XML-карт любого типа).