Een crawler, ook wel een spider of bot genoemd, is de software die Google gebruikt om de content van webpagina's te verwerken en te indexeren. De content-crawler bezoekt uw site om te bepalen wat de content ervan is, zodat er relevante advertenties kunnen worden weergegeven.
Belangrijke informatie over de content-crawler:
- Het crawler-rapport wordt wekelijks geüpdatet.
De crawl wordt automatisch uitgevoerd. We kunnen niet voldoen aan verzoeken om vaker te crawlen. - De content-crawler is niet hetzelfde als de Google-crawler.
Dit zijn 2 verschillende crawlers, maar ze delen hetzelfde cachegeheugen. We doen dit om te voorkomen dat beide crawlers dezelfde pagina's opvragen en zodoende overmatig beslag leggen op uw bandbreedte. De crawler van Search Console is ook een aparte crawler. - Als u een probleem met de content-crawler oplost, betekent dit niet dat problemen met de Google-crawler ook zijn verholpen.
Als u de problemen op de pagina Crawler-toegang oplost, heeft dat geen gevolgen voor uw positie in de Google-zoekresultaten.Opmerking: Ga naar Uw site in de zoekresultaten van Google laten opnemen voor meer informatie over de positie van uw site op Google. - De crawler indexeert per URL.
Onze crawler bezoekt bijvoorbeeld site.com en site.com afzonderlijk. Onze crawler interpreteert site.com en site.com/#anchor echter niet als afzonderlijke sites. - De crawler bezoekt geen pagina's of mappen die zijn geblokkeerd door een robots.txt-bestand.
De crawlers van Google en AdMob Mediapartners respecteren uw robots.txt-bestand. Als uw robots.txt-bestand toegang tot bepaalde pagina's of directory's verbiedt, worden ze niet gecrawld.Opmerking: Als u advertenties aanbiedt op pagina's die door middel van de regelUser-agent: *worden uitgesloten, worden deze pagina's toch door de content-crawler gecrawld. Als u niet wilt dat de content-crawler uw pagina's analyseert, moet u in uw bestand robots.txt de regelUser-agent: Mediapartners-Googleopnemen.Meer informatie over hoe u onze crawler toegang geeft tot uw pagina's - De crawler probeert alleen toegang te krijgen tot URL's waarin onze advertentietags zijn geïmplementeerd.
Alleen pagina's met Google-advertenties mogen verzoeken naar ons systeem sturen en worden gecrawld. - De crawler probeert toegang te krijgen tot omleidingspagina's.
Als u 'oorspronkelijke pagina's' heeft die omleiden naar andere pagina's, moet onze crawler de oorspronkelijke pagina's bezoeken om te bepalen of een omleiding klopt. Daarom wordt het bezoek van de crawler aan de oorspronkelijke pagina's weergegeven in uw toegangslogboeken - U kunt niet bepalen hoe vaak onze crawlers de content op uw site indexeren.
Op dit moment wordt crawlen automatisch door onze bots uitgevoerd. Als u wijzigingen aanbrengt op een pagina, kan het 1 tot 2 weken duren voordat de wijzigingen in onze index worden opgenomen.