Как правильно создать карту сайта?

За последнее время о Sitemap было написано много статей и руководств, но, несмотря на огромное количество информации, ошибки всё ещё возникают. Поэтому мы решили собрать и систематизировать имеющиеся знания.

В нашем руководстве вы узнаете, как создать файл карты сайта с помощью различных инструментов, какие URL-адреса он должен содержать и как его правильно оптимизировать. Вы также узнаете, как добавить карту сайта в Google и Яндекс, а также узнаете, какие приемы следует использовать для точного отслеживания индексации вашего сайта

Что такое Sitemap?

Sitemap (карта сайта) — это файл, чаще всего созданный в формате XML, который содержит основную информацию, связанную с URL-адресами на данном сайте. Его основная задача — облегчить индексацию обширных страниц роботами поисковых систем. Наличие карты сайта положительно влияет на SEO каждой страницы. В этом случае даже сайты со слабой внутренней перелинковкой могут рассчитывать на то, что карта сайта станет существенным подспорьем для поисковой системы.

Помимо стандартной версии файла карты сайта, Google также интерпретирует версии с расширениями. К ним относятся:

файлы Sitemap для видео,
графические файлы Sitemap,
файлы Sitemap для Новостей Google

Всегда ли необходим файл Sitemap?

Насколько файл Sitemap необходим именно вашему сайту зависит от его профиля и UI (от того, насколько хорошо поисковые роботы могут обнаружить и проиндексировать его страницы).

Если ваш сайт имеет небольшой размер и простую структуру, и вы корректно указали ссылки на все страницы через меню или внутренние ссылки на ваших страницах, то, вероятно, поисковые роботы смогут обнаружить и проиндексировать большую часть вашего сайта и без Sitemap.
Однако, когда речь идет о крупных или сложных проектах, или если у вас есть специализированные файлы (например, видео, изображения, новости и другие типы контента), файл Sitemap может значительно облегчить процесс сканирования и индексации поисковыми роботами.

Таким образом, Sitemap будет полезен для сайтов, где:

очень большое количество подстраниц – это касается в первую очередь интернет-магазинов с большой базой товаров, насчитывающей десятки тысяч наименований;
нет внутренней перелинковки, она не подготовлена должным образом или ссылки часто обновляются;
очень часто добавляется новый контент, а существующий контент обновляется;
большая вложенность (корневой каталог -> категория -> подкатегория и так далее).

Форматы Sitemap

Sitemap.xml

Это XML-документ, сохраненный в системе кодирования UTF-8. Самый распространенный и широко поддерживаемый формат. Его преимуществом является возможность включить дополнительную информацию об URL-адресах, изображениях, видео и документах на сайте.

Однако, может быть неудобным для больших и сложных проектов, так как требует ручного создания и обновления файла.

RSS, mRSS и Atom 1.0

Удобный формат для динамически обновляемого контента: блоги или новостные сайты. Данные варианты структурированы аналогично картам сайта XML. Как правило, готовые CMS системы создают их автоматически. Минус в том, что они не содержат дополнительной информации об изображениях и сообщениях.

Текстовая карта сайта

Самый простой формат карты сайта. Он может отображать только URL-адреса HTML-страниц и других сканируемых страниц. Имя текстового файла может быть любым, но оно должно иметь расширение .txt (например, sitemap.txt).

Требования к карте сайта

Sitemap должен соответствовать нескольким основным требованиям:

Размер файла не должен превышать 50 МБ после распаковки и 50 000 URL-адресов в карте сайта. Если размер карты сайта или количество URL-адресов в файле превышает вышеуказанные значения — вы должны создать несколько карт сайта и связать их вместе с помощью индекса карты сайта
Хорошей практикой является ограничение в 30 000 адресов на файл — это позволяет роботам поисковых систем обрабатывать его быстрее.
Имя файла карты сайта может быть любым, однако оно не должно содержать русские символы и пробелы.
Каждая карта сайта должна быть закодирована в UTF-8.
Файл карты должен содержать URL- адреса с правильным доменом и протоколом.
Google рекомендует размещать файл в корне сайта.

Какие данные должны быть включены в sitemap.xml?

Поскольку файл XML содержит подробную информацию об URL-адресах веб-сайта, он должен иметь четко определенную, безошибочную структуру, чтобы быть эффективным.

Различные теги, определяющие структуру формата XML в случае с картой сайта делятся на обязательные и необязательные. Следующие теги являются обязательными:

<urlset> — этот тег относится к текущему стандарту протокола и должен всегда появляться в начале карты сайта.
<url> — родительский тег для каждой отдельной записи URL. Все остальные теги являются дочерними элементами этого тега.
<loc> — этот тег указывает местоположение данного URL-адреса. Он должен начинаться с типа используемого протокола (http или https).

В дополнение к обязательным тегам, описанным выше, вы также можете использовать необязательные теги, такие как:

<lastmod> — дата последнего изменения URL-адреса. Чтобы его можно было прочитать, он должен быть правильно написан, то есть в формате ГГГГ-ММ-ДД. Например, 2018-01-22 или 2020-07-04.
<changefreq> — частота изменений, вносимых на страницу. Этот тег может принимать одно из семи значений: всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно или никогда. Стоит помнить, что роботы не рассматривают это как руководство, а только как подсказку. Таким образом, они могут сканировать страницы «никогда» и проверять страницы «ежечасно» каждые несколько дней, а не каждый час.
<priority> — определяет приоритет URL по отношению к другим адресам на карте. Этот тег может принимать значения от 0.0 до 1.0. Обратите внимание, что это приоритет только в карте сайта, и он обеспечит более быстрое индексирование страниц с высоким приоритетом. На позиции в органической выдаче это абсолютно никак не влияет.

Какие URL не должны быть включены в карту сайта?

Следует избегать следующих URL-адресов:

Адреса переадресации.
Страницы с ошибками — например, с ошибками 4xx или 5xx.
Адреса, заблокированные в robots.txt или с тегом noindex.
Адреса, которые являются результатами поиска.

Карта сайта должна включать канонические URL-адреса , то есть URL-адреса, которые вы хотите проиндексировать.

Пример классической карты сайта

Обобщая ранее представленную информацию, представляем внешний вид примера карты сайта с двумя URL-адресами (subpage1 и subpage2) для сайта «http://www.example.com/»

<?xml version="1.0" encoding="UTF-8"?>
   <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
      <url>
          <loc>http://www.example.com/subpage1/</loc>
          <lastmod>2023-06-06</lastmod>
          <changefreq>monthly</changefreq>
          <priority>0.8</priority>
      </url>
      <url>
          <loc>http://www.example.com/subpage2/</loc>
          <lastmod>2023-06-06</lastmod>
          <changefreq>weekly</changefreq>
          <priority>0.4</priority>
      </url>
   </urlset>

Сводная карта Sitemap-index.xml

Индекс карты сайта — это не что иное, как карта сайта, содержащая другие карты сайта. Используется для очень больших сайтов, где потенциальная карта сайта превысит 50 МБ — такие карты следует разделить на несколько более мелких и связать их с помощью индекса карты сайта.

Например, она может выглядеть следующим образом:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.ru/sitemap-1.xml</loc>
      <lastmod>2023-06-06</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.site.ru/sitemap-2.xml</loc>
      <lastmod>2023-06-06</lastmod>
   </sitemap>
</sitemapindex>

Карта сайта с файлами изображений и видео

Чтобы ваши файлы изображений были включены в поисковую систему изображений Google, вы должны увеличить свои шансы, создав специальную карту сайта, содержащую ссылки на файлы изображений. Хотя у поисковых роботов нет проблем с поиском и индексированием файлов изображений, такие настройки, как отложенная загрузка, могут усложнить им задачу. Создать карту из графических файлов очень просто:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>https://example.com/sample1.html</loc>
    <image:image>
      <image:loc>https://example.com/image.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>https://example.com/photo.jpg</image:loc>
    </image:image>
  </url>
  <url>
    <loc>https://example.com/sample2.html</loc>
    <image:image>
      <image:loc>https://example.com/picture.jpg</image:loc>
    </image:image>
  </url>
</urlset>

Примечание.В старых картах файлов изображений все еще есть такие теги, как ≶image:caption>, <image:geo_location>, < image:title>, < image:license>. Они убраны из документации и нет необходимости назначать их каждому из графических файлов.

Карта сайта для статей в Новостях Google

Карта сайта с новостными статьями должна содержать ссылки на статьи не старше 2 дней. Для более старых статей удалите их из карты сайта.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
  <url>
    <loc>http://www.example.org/business/article55.html</loc>
    <news:news>
      <news:publication>
        <news:name>The Example Times</news:name>
        <news:language>en</news:language>
      </news:publication>
      <news:publication_date>2008-12-23</news:publication_date>
      <news:title>Companies A, B in Merger Talks</news:title>
    </news:news>
  </url>
</urlset>

Создание и генерация карты сайта

В зависимости от того, насколько большой у вас веб-сайт и какую систему управления контентом (CMS) вы используете, создание карты сайта может выполняться с использованием бесплатных инструментов (генераторов sitemap.xml) или встроенных/дополнительных инструментов/плагинов. Вы также можете сгенерировать его вручную, особенно если это небольшой сайт.

Ручная подготовка XML-файла с картой сайта

Самый трудоемкий способ создания карты сайта — вручную подготовить XML-файл в соответствии с рекомендациями, представленными на сайте sitemaps.org. Этот метод используется для страниц с небольшим количеством URL-адресов, а также в ситуациях, когда сайт обновляется не очень часто.

Генерация файла карты сайта системой CMS

Некоторые системы CMS (например, WordPress) позволяют динамически генерировать карту сайта без необходимости использования дополнительных плагинов или модулей. Другие требуют помощи дополнительного программного обеспечения.

WordPress предлагает довольно много плагинов для улучшения встроенной функции карты сайта. Лучшие из них включают Yoast SEO или All in One SEO Tool.

Yoast SEO автоматически создает нам карту сайта, мы выбираем соответствующие настройки и решаем, какие ресурсы должны быть включены в нее. Плагин очень интуитивно понятен и прост в использовании. Кроме того, в его базовой версии достаточно опций для большинства веб-мастеров.

Генераторы карты сайта

Если вы не можете использовать вышеуказанные методы, можно попробовать создать карту сайта самостоятельно, используя соответствующие генераторы.

В Интернете доступны генераторы карт сайта, в том числе в бесплатной версии. Сканер просматривает ссылки внутри домена и на основе собранного URL создает файл, готовый к размещению на сервере.

Ниже приведены примеры веб-сайтов, на которых можно создать карту сайта бесплатно:

Однако, онлайн-генераторы карты сайта в бесплатной версии имеют некоторые ограничения. В большинстве случаев это максимальное количество страниц, которые можно поместить в sitemap.xml, и оно составляет 500 URL-адресов. В платных версиях плагинов таких ограничений нет.

Вы также можете подготовить карту сайта во время сканирования сайта с помощью краулера Screaming Frog, который в бесплатной версии позволяет сканировать 500 ресурсов внутри сайта.

Инструкции по созданию карты сайта в инструменте Screaming Frog можно найти в их официальном руководстве

Примечание. Карты сайта, созданные вручную, не обновляются автоматически. Не забывайте обновлять их после добавления новых продуктов, записей или страниц.

Как добавить карту сайта в Google?

Для отслеживания статуса индексации URL-адресов, размещенных в карте сайта, вам нужно поделиться своей картой сайта с роботами поисковых систем. Это можно сделать несколькими способами:

Отправить карту сайта в Google можно с помощью инструмента Sitemaps в Google Search Console. После регистрации учетной записи в Google Search Console или входа в существующую, загрузите файл карты сайта или индекса карты сайта во вкладке: Индекс/Карты сайта.

Вы можете использовать Search Console API для отправки файла Sitemap алгоритмическим методом. Search Console API предоставляет возможность программного взаимодействия с инструментом Search Console от Google, что позволяет управлять вашими сайтами и получать данные о производительности поиска.
Выполнив запрос ping. Чтобы убедиться, что файл Sitemap доступен для робота Googlebot, вам потребуется отправить запрос GET на специальный URL.
Это также можно сделать с помощью файла robots.txt, вставив туда путь к карте:

Sitemap: http://www.example.com/sitemap.xml

Карта сайта для Яндекс

Принципиальных отличий в создании и размещении карты сайта в Яндекс и Google нет. Однако, может иметь место некоторая разница восприятия файла Sitemap со стороны этих поисковых систем. В то время как Google более прямолинеен в отношении карт сайта и имеет более оптимистичный подход, успешно индексируя страницы, соответствующие правильно созданной и размещенной карте сайта, с Яндексом ситуация может быть несколько иная.

Несмотря на правильно созданную карту сайта под Яндекс, индексация страниц может быть не такой, как вы ожидаете.

Установите канонические URL для страниц, которые вы планируете указать в файле Sitemap.
Выберите формат карты сайта из двух поддерживаемых — XML или TXT. После этого воспользуйтесь одним из инструментов для создания файла.
Чтобы убедиться, что файл составлен правильно и не содержит ошибок, рекомендуется воспользоваться инструментом «Анализ файлов Sitemap».
Уведомите Яндекс о карте сайта одним из предложенных способов: добавить ссылку на карту сайта в файл в robots.txt или в разделе «Файлы Sitemap» в Яндекс Вебмастере.

При необходимости обновления или удаления файла Sitemap, рекомендуется оперативно обновлять информацию в Яндекс Вебмастере и следить за актуальностью указанной ссылки.

После выполнения этих шагов ваша карта сайта будет создана и представлена Яндекс для индексации.

Важно отметить, что и Яндекс, и Google периодически обновляют свои алгоритмы и рекомендации, поэтому следует ознакомиться с официальными источниками информации, чтобы быть в курсе последних требований поисковых систем при создании карты сайта.

Оценить:

Загрузка...