Почему Google индексирует заблокированные веб-страницы
Почему Google индексирует заблокированные веб-страницы
Blog Article
Джон Мюллер из Google объяснил, почему Google индексирует блокированные страницы, также почему отчеты Search Console, связанные с этим, можно безопасно пропускать.
Джон Мюллер из Google ответил на вопрос о том, почему Google индексирует страницы, которые запрещены для выполнения обхода с помощью файла robots.txt, и по какой причине можно не учитывать соответствующие отчеты Search Console об этих обходах.
Трафик ботов к URL-адресам с параметрами запроса
Человек, задающий вопрос, подтвердил, что боты создают ссылки на несуществующие URL-адреса с параметрами запросов (?q=xyz) на страницы с мета-тегами noindex, которые также закрыты в robots.txt. Вопрос был вызван тем, что Google проходит эти ссылки на страницы, блокируется в robots.txt (не замечая мета-тег noindex), а затем указывает об этом в Google Search Console как "Индексируется, хотя заблокировано robots.txt."
Человек спросил следующий вопрос:
"Но вот главный вопрос: почему Google индексирует страницы, когда он не может ознакомиться с содержимое? В чем тут выгода?"
Джон Мюллер из Google подтвердил, что если они не могут проникнуть на страницу, они не могут увидеть мета-тег noindex. Он также заметил оператор site:search, посоветовав игнорировать результаты, потому что "средние" пользователи не видят их.
Он написал:
"Да, вы правы: если мы не можем проникнуть на страницу, мы не можем увидеть noindex. Тем не менее, если мы не можем рикжаться страницы, для нас там мало что можно индексировать. Так что, хотя вы можете заметить некоторые из этих страниц с помощью целевого запроса site:, средний пользователь их не наблюдает, поэтому я бы не переживал. Noindex также функционирует (без запрета в robots.txt), это просто означает, что URL-адреса будут обходиться (и попадут в отчет Search Console как 'обойдены/не индексируются' — ни один из этих статусов не создает проблем для остальной части сайта). Важно, чтобы вы не делали их доступными для обхода и индексации."
Связанный: Google рекомендует сайтам использовать файл robots.txt для блокировки URL-адресов действий.
Выводы:
1. Ответ Мюллера подтверждает ограничения использования оператора Site:search для диагностических целей. Одной из причин является то, что он не связан с обычным поисковым индексом, это совсем отдельная штука.
Джон Мюллер из Google описал оператор site search в 2021 году:
"Короткий ответ заключается в том, что запрос site: не предназначен для всестороннего охвата, а также для диагностических целей.
Запрос site: — это определенный вид поиска, который ограничивает результаты заданным веб-сайтом. Это, по сути, просто слово "site", двоеточие и затем домен веб-сайта.
Этот запрос уменьшает результаты специфическим веб-сайтом. Он не предназначен для того, чтобы быть исчерпывающей подборкой всех страниц этого сайта."
Оператор site не отображает индекс поиска Google, что превращает его ненадежным для осмысления того, какие страницы Google уже проиндексировал или нет. Как и другие операторы улучшенного поиска Google, они ненадежны как инструменты для понимания любых вопросов, связанных с тем, как Google распределяет или индексирует контент.
2. Мета-тег noindex без применения robots.txt подходит для таких ситуаций, когда бот создает ссылки на отсутствующие страницы, которые идентифицируются Googlebot.
Мета-тег noindex на страницах, которые не блокируются в robots.txt, разрешает Google просканировать страницу и прочитать директиву noindex, гарантируя, что страница не проявится в поисковом индексе, что удобно, если цель состоит в том, чтобы не допустить страницу в поисковый индекс Google.
3. URL-адреса с мета-тегом noindex породят в Search Console запись "обойдены/не индексируются", что не приведет к негативного результата на остальную часть веб-сайта.
Эти записи в Search Console, в контексте страниц, которые специально заблокированы, лишь указывают на то, что Google просканировал страницу, но не учел ее. По сути говоря, что это произошло, а не то, что (в этом конкретном контексте) есть что-то, что нужно скорректировать. Эта запись полезна для предупреждения издателей о страницах, которые непреднамеренно заблокированы мета-тегом noindex или по какой-либо другой причине, мешающей индексации страницы. Тогда это стоит выяснить.