Content-Crawler

Der Crawler ist eine Software, mit der Google den Content auf Webseiten verarbeitet und indexiert. Für solche Software werden auch die Bezeichnungen „Spider“ und „Bot“ verwendet. Mit dem Content-Crawler wird der Content Ihrer Website ermittelt, sodass relevante Anzeigen geschaltet werden können.

Wichtige Informationen zum Content-Crawler:

• Der Crawler-Bericht wird wöchentlich aktualisiert.
  Das Crawling erfolgt automatisch. Daher ist es nicht möglich, auf Anfrage die Crawling-Häufigkeit zu erhöhen.
• Der Content-Crawler entspricht nicht dem Google-Crawler.
  Bei den beiden Crawlern handelt es sich um individuelle Crawler mit einem gemeinsamen Cache. Dadurch wird verhindert, dass von beiden Crawlern dieselben Seiten angefordert werden, was bei Publishern zu Bandbreitenverlusten führen könnte. Der Search Console-Crawler ist ebenfalls ein separater Crawler.
• Wenn Sie Probleme mit dem Content-Crawler beheben, hat dies keine Auswirkungen auf Probleme, die im Zusammenhang mit dem Google-Crawler auftreten.
  Das Beheben der auf der Seite „Crawler-Zugriff“ aufgeführten Probleme wirkt sich nicht auf Ihr Ranking in der Google Suche aus.
  Hinweis: Weitere Informationen zum Ranking Ihrer Website bei Google finden Sie im Hilfeartikel Website in Google-Suchergebnisse aufnehmen.
• Der Crawler indexiert nach URL.
  Unser Crawler greift beispielsweise separat auf „beispiel.de“ und „beispiel.de“ zu. Der Crawler erfasst jedoch „beispiel.de“ und „beispiel.de/#anker“ nicht separat.
• Der Crawler greift auf keine Seiten oder Verzeichnisse zu, die durch die Datei „robots.txt“ ausgeschlossen sind.
  Die Google- und AdMob-Mediapartners-Crawler erkennen Ihre Datei robots.txt an. Wenn Sie mithilfe dieser Datei den Zugriff auf bestimmte Seiten oder Verzeichnisse nicht zulassen, werden diese nicht gecrawlt.
  Hinweis: Falls Sie Anzeigen auf Seiten schalten, bei denen die Datei „robots.txt“ die Zeile User-agent: *, enthält, werden diese Seiten vom Content-Crawler gecrawlt. Wenn der Content-Crawler nicht auf Ihre Seiten zugreifen soll, muss in der Datei „robots.txt“ Folgendes angegeben werden: User-agent: Mediapartners-Google.

  Weitere Informationen zum Gewähren von Zugriff auf Ihre Seiten für unseren Crawler
• Der Crawler versucht, nur auf URLs zuzugreifen, unter denen unsere Anzeigen-Tags implementiert sind.
  Nur Seiten, auf denen Anzeigen von Google geschaltet werden, sollten Anfragen an unser System senden und gecrawlt werden.
• Der Crawler versucht, auf Seiten mit einer Weiterleitung zuzugreifen.
  Falls bestimmte Seiten Weiterleitungen zu anderen Seiten umfassen, greift der Crawler auf diese Ausgangsseiten zu, damit die Weiterleitung erkannt werden kann. Daher wird in Ihrem Zugriffsprotokoll angezeigt, dass der Crawler die Ausgangsseiten aufgerufen hat.
• Sie können nicht steuern, wie oft unsere Crawler den Content Ihrer Website indexieren.
  Derzeit wird das Crawling automatisch von unseren Bots durchgeführt. Falls Sie eine Seite ändern, kann es ein bis zwei Wochen dauern, bis die Änderungen in unserem Index berücksichtigt werden.