Некоторые страницы сайта могут негативно влиять на SEO-позиции и репутацию ресурса. Если пользователь попадает по ссылке из поиска на неактуальный контент, сервисные разделы или страницы с ошибками, это увеличивает процент отказов и снижает индекс качества сайта. Чтобы избежать подобных проблем, ненужные страницы рекомендуется закрывать для индексации и удалять из поисковой выдачи с помощью инструментов Яндекс.Вебмастера и Google Search Console.
Когда нужно удалять страницы из поиска
Деиндексация позволяет убрать URL-адрес из базы поисковой системы. После удаления такая страница не будет учитываться при ранжировании, хотя останется доступной по прямой ссылке.
Удалять страницу из индексации стоит, если:
- Контент неуникальный или содержит нарушение авторских прав;
- Страница техническая, сервисная, устаревшая либо неактуальная;
- На ней есть персональные или конфиденциальные данные;
- Размещён запрещённый контент;
- Доступ ограничен для конкретных пользователей;
- Страница возвращает ошибку 403, 404, 410.
Деиндексация экономит краулинговый бюджет, ускоряет обновление важных данных, помогает избежать санкций и улучшает SEO.
Как удалить URL из Яндекса
Запрет индексации удаленного URL
Добавьте для нужного адреса правило Disallow в файле robots.txt:
User-agent: *
Disallow: /archive/page.html
Чтобы закрыть сразу раздел:
User-agent: *
Disallow: /archive/
После этого убедитесь, что при попытке доступа к странице сервер возвращает статус 403, 404 или 410 — иначе ссылка не исчезнет из поиска.
Деиндексация существующего URL
Если страницу нужно стирать из индекса, но оставить доступной для пользователей:
- Добавьте метатег noindex в блок
<head>:
<meta name="robots" content="noindex">
- Не используйте Disallow, чтобы робот мог прочитать страницу и выполнить запрет.
- Можно также ограничить доступ к разделу или перевести его на статус 404, 403, 410.
Проверка результата и статуса удаления
Обычно страница исчезает из выдачи в течение недели после очередного обхода робота. Посмотреть сведения о статусе можно в Яндекс.Вебмастере:
- Откройте «Индексирование» → «Страницы в поиске»
- Перейдите на вкладку «Исключённые страницы»
- Проверьте причины и дату последнего обхода
Как ускорить удаление страницы
Можно воспользоваться инструментом «Удаление страницы из поиска»:
- Перейдите в раздел «Инструменты» → «Удаление страницы из поиска»
- Введите нужный URL и нажмите «Удалить».
Подтверждённый администратор может удалить сразу группу адресов или задать префиксы. За сутки — до 500 адресов или 20 префиксов.
Как удалить URL из Google
В Google Search Console удалить страницу из поиска может только владелец сайта.
Временная блокировка
- Откройте Search Console → «Индексирование» → «Удаления»
- Перейдите в «Временные удаления» и нажмите «Создать запрос»
- Введите нужный URL или раздел, отметьте способ удаления
- Подтвердите отправку
Запрос действует до 6 месяцев. Если за это время не предпринять других действий, ссылка может вернуться в выдачу.
Постоянная блокировка
Чтобы навсегда удалить страницу:
- Настройте сервер на отдачу кода ошибки (404, 410 и др.)
- Удалённый адрес исчезнет из поиска через несколько дней после обхода
Использование метатега noindex
Для Google метатег <meta name="googlebot" content="noindex"> в <head> необязателен, но может быть полезен. Не используйте Disallow для тех же адресов — иначе робот не увидит noindex. Robots.txt не применяется для удаления страниц из поиска Google.
Восстановление страниц в индексе
Чтобы вернуть страницу в выдачу:
- В Яндексе уберите запрет в robots.txt или метатег noindex, а сервер должен отдавать 200 OK. Изменения применятся после следующего обхода (до 3 недель).
- В Google временная блокировка автоматически истекает. Для постоянных блокировок — как только устраните ошибку сервера, URL будет считаться новым и обновится в индексе.
Своевременное удаление неактуальных страниц помогает повысить качество сайта, ускорить продвижение и защитить проект от санкций поисковых систем.
Оставьте оценку и комментарий