Поисковый робот AdSense

Поисковый робот, который также называют "пауком" или "роботом", – это программное обеспечение, используемое системой Google для того, чтобы обрабатывать и индексировать контент веб-страниц. Робот AdSense, который называется Mediapartners-Google, заходит на ваш сайт и определяет его содержание, чтобы размещать на нем подходящие объявления.

Ниже приведены основные сведения о роботе AdSense.

• Отчет робота обновляется еженедельно.

  Сканирование осуществляется автоматически; мы не принимаем запросы на более частое сканирование.

• Робот AdSense отличается от робота Google.

  Они работают отдельно, но используют общий кеш. Это сделано для того, чтобы избежать ситуаций, когда они одновременно запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей. Также существует отдельный робот Search Console.

  Примечание. В AdSense также используется робот Google-Display-Ads-Bot. Он проверяет сайты, когда вы добавляете их в AdSense.
• Устранение неполадок с роботом AdSense не решит проблемы с роботом Google.

  Устранение проблем, перечисленных на странице Доступ для робота AdSense, не влияет на позицию вашего сайта в результатах поиска Google. Подробнее о рейтинге сайта в Google рассказывается в статье Как добавить свой сайт в результаты поиска Google.

• Индексирование осуществляется по URL.

  Робот осуществляет доступ к адресам site.com и site.com по отдельности. При этом он не рассматривает site.com и site.com/#anchor как две разные страницы.

• Робот не осуществляет доступ к страницам и каталогам, заблокированным в файле robots.txt.

  Роботы Google, AdSense Mediapartners-Google и Google-Display-Ads-Bot учитывают настройки, указанные в вашем файле robots.txt. Если этот файл запрещает доступ к определенным страницам или каталогам, они не будут просканированы.

  Примечание. Строка User-agent: * не запрещает роботу AdSense сканировать страницы с рекламой. Чтобы закрыть ему доступ к вашим страницам, в файле robots.txt необходимо указать следующее:

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Робот пытается получить доступ только к страницам с тегами объявлений Google.

  Отправлять запросы в наши системы и проходить сканирование должны только те страницы, на которых отображаются объявления Google.

• Робот пытается получить доступ к страницам, с которых осуществляется переадресация.

  Если у вас есть исходные страницы, которые переадресовывают пользователей на другие, роботу необходим доступ к этим исходным страницам, чтобы определить наличие переадресации. В результате в журналах доступа регистрируются посещения роботом исходных страниц.

• Мы не контролируем то, насколько часто робот индексирует контент вашего сайта.

  В настоящее время мы не можем настраивать частоту индексирования, поскольку наши роботы выполняют его автоматически. Если вы поменяете что-то на странице, может пройти 1 или 2 недели, прежде чем это отразится в нашем индексе.