С 1 сентября Google перестанет поддерживать неподдерживаемые правила в эксклюзивном протоколе для роботов, сообщила компания в блоге Google для веб-мастеров. Это означает, что Google больше не будет поддерживать файлы robots.txt с NOINDEX директивой указанyой в файле.
«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим выпускам с открытым исходным кодом мы удалим весь код, который обрабатывает неподдерживаемые правила (такие как noindex) 1 сентября 2019 года. Для тех, кто полагался на noindex директива в файле robots.txt, которая контролирует сканирование, есть ряд альтернативных вариантов », — сказали в компании.
Какие есть альтернативы?
Google перечислил следующие опции, которые вы, вероятно, должны были использовать в любом случае:
- Noindex в метатегах роботов. Поддерживаемая как в заголовках ответа HTTP, так и в HTML, директива noindex является наиболее эффективным способом удаления URL-адресов из индекса, когда сканирование разрешено.
- Коды состояния HTTP 404 и 410 : оба кода состояния означают, что страница не существует, поэтому такие URL будут удалены из индекса Google после их сканирования и обработки.
- Защита паролем: если разметка не используется для обозначения подписки или платного контента , скрытие страницы за логином обычно удаляет ее из индекса Google.
- Запретить в robots.txt: поисковые системы могут индексировать только те страницы, о которых они знают, поэтому часто блокировка страницы при сканировании означает, что ее содержимое не будет проиндексировано. Хотя поисковая система может также индексировать URL на основе ссылок с других страниц, не видя самого контента, мы стремимся сделать такие страницы менее заметными в будущем.
- Инструмент удаления URL консоли поиска . Этот инструмент — быстрый и простой способ временно удалить URL из результатов поиска Google.
О чем позаботиться
Самое главное, убедиться, что вы не используете директиву noindex в файле robots.txt. Если да, то вы должны внести предложенные изменения выше до 1 сентября. Также посмотрите, используете ли вы команды nofollow или crawl-delay, и если да, то посмотрите, будет ли поддерживаться этот метод для этих директив в будущем.