Google добавил в список краулеров новый сканер GoogleOther

0 51

 Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый сканер – GoogleOther. Он описывается, как «универсальный сканер, который может использоваться различными группами разработчиков для извлечения общедоступного контента с сайтов».

Как сообщает Google, он может быть использован для одноразового обхода внутренних исследований и разработок. GoogleOther всегда подчиняется правилам robots.txt и использует те же диапазоны IP-адресов, что и Googlebot.


            Google добавил в список краулеров новый сканер GoogleOther

Как пояснил инженер поиска Гэри Илш, на своей странице в LinkedIn, новый сканер «будет выполнять некоторые работы Googlebot, чтобы увеличить его пропускную способность». Он уточнил, что:

«Новый сканер использует ту же инфраструктуру, что и Googlebot, и поэтому имеет те же ограничения и функции, что и Googlebot: ограничения загрузки хоста, robots.txt, версия протокола http, размер выборки… По сути, это Googlebot под другим именем».

Западные специалисты предположили, что новый сканер может использоваться командой, работающей над Google Bard, однако, в компании никак это не комментируют. А Гэри Илш лишь еще раз подчеркнул в Twitter, что «Googlebot используется для построения индекса, а GoogleOther — для других задач, ранее принадлежавших Googlebot».

Отметим, последний раз справочная документация по роботам Google обновлялась в сентябре прошлого года, тогда в список краулеров был добавлен новый user-agent Site Verifier.

Источник: searchengines.guru

Оставьте ответ

Ваш электронный адрес не будет опубликован.