«Яндекс.Вебмастер» упростил поиск дублей с незначащими GET-параметрами

В «Яндекс.Вебмастере» в разделе «Диагностика» добавлено новое уведомление, которое расскажет о дублях из-за GET-параметров.

Обработка данных ведется с небольшой задержкой в 2-3 дня, поэтому в уведомлениях могут отображаться недавно исправленные страницы. Для получения уведомлений не нужно менять настройки. Они будут приходить автоматически.

При обнаружении дублей нужно:

• открыть в «Яндекс.Вебмастере» раздел «Страницы в поиске», затем выбрать в таблице «Исключенные страницы»;
• загрузить архив в нужном формате и проанализировать полученный файл — страницы-дубли помечены статусом DUPLICATE.

Как оставить в поиске нужную страницу

1. 1. Внести в файл robots.txt директиву Clean-param. Тогда робот не учтет незначащие GET-параметры в URL. При использовании данной директивы робот не станет много раз обходить дублирующийся контент, что уменьшает нагрузку на сайт. Метод рекомендован «Яндексом» как основной.
   2. Если не удается воспользоваться первым способом, тогда указывается канонический адрес страницы, чтобы он участвовал в поиске. Это не снизит нагрузку на сайт — робот будет обходить страницу, чтобы узнать о rel=canonical.
   3. Если первые два варианта не подходят, тогда дубли закрываются от индексации с использованием директивы Disallow. Но в этой ситуации поиск «Яндекса» не будет получать сигналы с запрещенных страниц.

Подписывайтесь на нашу рассылку, чтобы оставаться в курсе последних новостей из мира интернета.