Поисковый робот, который также называют "пауком" или "роботом", – это программное обеспечение, используемое системой Google для обработки и индексирования контента веб-страниц. Робот заходит на сайт и определяет его содержание с целью размещения релевантных объявлений.
Важная информация о поисковом роботе
- Отчет робота обновляется еженедельно.
Сканирование осуществляется автоматически. Мы не принимаем запросы на более частое сканирование. - Поисковый робот отличается от робота Google.
Эти два робота работают отдельно, но используют общий кэш. Так вы сохраняете пропускную способность, ведь оба робота не запрашивают одни и те же страницы. Также существует отдельный робот Search Console. - Устранение неполадок с поисковым роботом не решит проблемы с роботом Google.
Устранение проблем, указанных на странице "Доступ для робота AdSense", не влияет на позицию сайта в результатах поиска Google.Примечание. Чтобы узнать больше о позиции в Google, ознакомьтесь со статьей Как добавить свой сайт в результаты поиска Google. - Индексирование осуществляется по URL.
Например, наш поисковый робот получит доступ к страницам "site.com" и "site.com" по отдельности. Однако поисковый робот не различает "site.com" и "site.com/#anchor" как отдельные страницы. - Поисковый робот не осуществляет доступ к страницам или каталогам, заблокированным в файле robots.txt.
Роботы Mediapartners Google и AdMob учитывают данные в файле robots.txt. Если файл robot.txt запрещает доступ к определенным страницам или каталогам, они не будут просканированы.Примечание. СтрокаUser-agent: *не запрещает поисковому роботу сканировать страницы с рекламой. Чтобы закрыть ему доступ к вашим страницам, в файле robots.txt необходимо указатьUser-agent: Mediapartners-Google. - Робот пытается получить доступ только к страницам с тегами объявлений Google.
Только те страницы, на которых отображаются объявления Google, будут обращаться к нашим системам и сканироваться. - Робот пытается получить доступ к страницам, с которых осуществляется переадресация.
Если у вас есть исходные страницы, которые переадресовывают пользователей на другие, роботу необходим доступ к этим исходным страницам, чтобы определить наличие переадресации. Поэтому в журналах доступа регистрируются посещения роботом таких страниц. - В настоящее время мы не можем управлять частотой сканирования сайта.
Сейчас наши боты автоматически сканируют контент. Если вы что-то поменяете на странице, может пройти одна или две недели, прежде чем это отразится в нашем индексе.