Лидер поиска Google обновил свой файл robot.txt для предотвращения индексирования собственных страниц поисковой выдачи роботом Googlebot.

В течение последних нескольких недель появлялись различные сообщения пользователей о том, что Google нарушает своё же руководство для вебмастеров (webmaster guidelines), индексируя собственные результаты поиска. 

Согласно руководству Google, необходимо использовать robot.txt для предотвращения сканирования страниц поисковой выдачи или других автоматически генерируемых страниц, которые не представляют особой ценности для пользователей.

Редактор Search Engine Land Барри Шварц (Barry Schwartz) рассказал, что издание попросило Google прокомментировать поступившие сообщения. Представитель компании ответил, что это – глюк, связанный с несколькими слешами в веб-адресах, и разработчики уже устраняют проблему. После этого лидер поиска изменил файл robot.txt в google.com/robots.txt.

Ниже – скриншоты поисковой выдачи до и после устранения ошибки: