Дубликаты — это разные URL, содержащие схожий или идентичный контент. Часто страницы с GET‑параметрами распознаются роботом как копии. Яндекс может выбрать одну страницу в качестве основной и исключить прочие варианты из индекса. Возможен и иной сценарий: в выдаче остаются все версии, но на сайт накладывается фильтр. Проблему можно решить, исключив переменные в URL из индексации.
Сообщение об ошибке в Яндекс.Вебмастере
Оповещение с заголовком «Найдены страницы‑дубли с GET‑параметрами» означает, что робот проиндексировал несколько версий динамической страницы. Такое предупреждение отображается в разделе «Диагностика» в интерфейсе владельца сайта. Проверяйте этот раздел регулярно и не откладывайте устранение проблемы.
GET‑параметры в составе URL Содержимое страниц может формироваться по запросам пользователя. Например, в каталоге одежды можно показать только определенную категорию (юбки, рубашки), отсортировать товары по цене, размеру или цвету. При каждом таком действии изменяются и URL, и выдаваемый контент. Поисковый робот нередко трактует эти варианты как набор дублей. GET‑параметры — это части URL, управляющие выводом данных на странице. Они задаются в формате «имя=значение». Одно имя может иметь несколько значений для сортировки. Например, для имени cloth возможны значения dress, shirt, jeans. Правила записи:
- перед первым именем ставится знак вопроса (?);
- между именем и значением используется символ равно (=);
- параметры перечисляются через амперсанд (&). Пример динамического адреса: https://internet-magazin.com/catalog?cloth=shirt&color=white В данном URL пользователь запросил показ белых рубашек в каталоге.
Удаление динамических параметров из индексации Директива Clean-param помогает устранить предупреждение «Найдены страницы‑дубли с GET‑параметрами». Её добавляют в файл robots.txt. Максимальная длина одного правила — до 500 символов; регистр символов имеет значение. Можно указывать несколько правил одновременно — каждое будет применяться. Синтаксис: Clean-param: p1&p2 path
Пояснения:
- Clean-param — указание игнорировать заданные параметры;
- p1, p2 — имена переменных для сортировки контента; можно перечислить любое количество через &;
- path — путь, к которому относится правило: часть адреса после домена и до знака «?». Если не указывать path, правило применяется ко всему сайту. Пример: User-agent: Yandex Clean-param: cloth&size&color&price /catalog Эта запись сообщает роботам Яндекса, что в разделе catalog используются параметры cloth (тип одежды), size (размер), color (цвет) и price (цена) — их не следует учитывать как часть URL при индексации. Пример из Справки Яндекса: Работайте с Clean-param при получении предупреждения о дублях и не подменяйте её директивой Disallow. Clean-param удаляет динамические параметры из URL на этапе индексации, а накопленные сигналы ранжирования консолидируются на основной версии. Disallow же блокирует индексацию страницы, и её вес теряется.
Задание канонической версии страницы
Ещё один способ сократить количество дублей — указать каноническую версию с помощью rel=»canonical». Синтаксис атрибута:<link rel=»canonical» href=»URL»/> Пример: <head><link rel=»canonical» href=»https://internet-magazin.com/catalog»></head> Расшифровка: — link rel — связь с другой страницей; — canonical — пометка канонического варианта; — href — целевой адрес. Атрибут rel=»canonical» следует добавить в HTML каждого дубля. На проектах с большим количеством параметров это требует времени. Размещайте тег в блоке <head> ближе к началу. При обходе робот увидит, что данная страница — копия, и какой URL считается основным. Canonical передает вес дублей основной странице, но это рекомендация, а не жесткая директива. Даже при корректной разметке поисковый робот может проигнорировать указание и не всегда снимет проблему дублей самостоятельно.
Оставьте оценку и комментарий