Дубли страниц на сайте

Дубли страниц — плохо для продвижения сайта, даже несмотря на то, что они могут появляться по естественным причинам. Поисковые роботы хуже ранжируют страницы, контент которых мало чем отличается от других страниц. Чем больше дублей, тем больше причин исключить сайт из топ выдачи.

Какие последствия влекут дубликаты страниц?

1. Снижается релевантность. Страницы с одинаковым контентом пессимизируются в выдаче.
2. Снижается процент уникальности контента.
3. Снижается вес URL-адресов сайта.
4. Увеличивается время на индексацию.
5. Бан от поисковых систем. Есть вероятность вылететь из выдачи на неопределенный срок.

Возможные типы дублей страниц на сайте

1. Дубли страниц с протоколами http и https. Например: https://example.ru и http://example.ru
2. Дубли с www и без. Например: https://example.ru и https://www.example.ru
3. Дубли со слешем на конце URL и без. Например: https://example.ru/page/ и https://example.ru/page
4. Дубли с множественными слешами в середине либо в конце URL. Например: https://example.ru/////////, https://example.ru/////////page/
5. Прописные и строчные буквы на различных уровнях вложенности в URL. Например: https://example.ru/page/ и https://example.ru/PAGE/
6. Дубли с добавлением на конце URL:
   • index.php;
   • home.php;
   • index.html;
   • home.html;
   • index.htm;
   • home.htm.Например: https://example.ru/page/ и https://example.ru/page/index.html
7. Дубли с добавлением произвольных символов либо в качестве нового уровня вложенности (в конце или середине URL), либо в существующие уровни вложенности. Например: https://example.ru/page/saf3qA/, https://example.ru/saf3qA/page/ и https://example.ru/pagesaf3qA/
8. Добавление произвольных цифр в конце URL в качестве нового уровня вложенности. Например: https://example.ru/page/ и https://example.ru/page/32425/
9. Дубли с добавлением «звездочки» в конце URL. Например: https://example.ru/page/ и https://example.ru/page/*
10. Дубли с заменой дефиса на нижнее подчеркивание или наоборот. Например: https://example.ru/defis-ili-nizhnee-podchyorkivanie/ и https://example.ru/defis_ili_nizhnee_podchyorkivanie/
11. Дубли с некорректно указанными уровнями вложенности. Например: https://example.ru/category/page/ и https://example.ru/page/category/
12. Дубли с отсутствующими уровнями вложенности. Например: https://example.ru/category/page/ и https://example.ru/page/

Как убрать дубли страниц на сайте?

301 редирект

Если сайт использует сервер Apache, необходимо задать правила в файле .htaccess с помощью регулярных выражений.

• с одной страницы на другую: Redirect 301 /test-1/ http://site.ru/test-2/
• с www на страницу без www (главное зеркало — домен без www):

RewriteCond %{HTTP_HOST} ^www\.(.*)$
RewriteRule^(.*)$ http://%1/$1 [L,R=301]

• с протокола http на https:

RewriteCond %{HTTPS} !=on
RewriteRule^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]

• 301 редирект для index.php, index.html или index.htm:

Если сайт использует Nginx, то правила прописываются в файле nginx.conf. Для перенаправления также нужно прописывать правила с помощью регулярных выражений:

location = /index.html {
return 301 https://site.com
}

Создание канонической страницы

Использование canonical указывает поисковому боту на страницу, которая должна быть в поисковой выдаче. Чтобы выделить такую страницу, нужно на всех URL дублей прописать код с адресом уникальной страницы:

<link rel= “canonical” href= «http://www.site.ru/original-page.html”&gt;

Можно прописывать их вручную, но в популярных CMS, как правило, существуют уже готовые плагины.

Директива Disallow в robots.txt

В файле robots.txt должны содержаться инструкции для поисковых краулеров, как именно индексировать сайт.

User-agent: *
Disallow: site.ru/contacts.php?work=225&s=1