Google crawlt uw productpagina's en afbeeldingen voor mobiele apparaten en desktops regelmatig om te controleren op kwaliteitsproblemen. Als we deze crawls niet kunnen uitvoeren, kunnen we uw artikelen niet laten zien in Shopping-advertenties.
Daarnaast geldt voor landingspagina's dat als we crawlfouten vinden bij het ophalen van de landingspagina van een artikel (mobiel of desktop), Google het artikel afkeurt voor zowel mobiele apparaten als desktops totdat we toegang tot de landingspagina kunnen krijgen.
Dit zijn de meest voorkomende redenen voor problemen met het crawlen van producten:
- Pagina niet gevonden (404): u heeft een onjuiste URL doorgegeven, waardoor de pagina een 404-fout (Pagina niet gevonden) retourneert. Ga na of de URL correct is en of uw website niet offline is.
- robots.txt van server staat geen toegang toe: U heeft een robots.txt-bestand aan uw server toegevoegd waarmee de crawltoegang wordt geblokkeerd. We kunnen pagina's met dit type bestanden en beperkingen niet crawlen. U kunt dit probleem oplossen door het robots.txt-bestand zo in te stellen dat onze crawl wordt toegestaan.
- Ongeldige URL: Uw URL bevat ongeldige tekens of heeft niet de juiste indeling voor een link.
Opmerking: Nadat u het probleem heeft opgelost, kan het tot 48 uur duren voordat uw product weer wordt getoond in Shopping-advertenties.
Er zijn ook andere problemen waardoor Google uw pagina misschien niet kan crawlen.
Andere veelvoorkomende problemen- Pagina vereist verificatie: De ingevoerde URL wordt beveiligd met een verificatieprotocol, waardoor Google geen toegang tot de content kan krijgen.
- HTTP 4xx- of HTTP 5xx-reactie: De server die uw website host, heeft een HTTP-fout geretourneerd, waardoor we geen toegang tot de content kunnen krijgen.
- Hostnaam kan niet worden opgelost: we kunnen de hostnaam van uw server niet herleiden tot een IP-adres, waardoor we geen toegang kunnen krijgen tot de pagina.
- Onjuist opgemaakte HTTP-reactie: De reactie van uw server was onleesbaar.
- Privé-IP: Uw website wordt gehost achter een firewall of router, waardoor we geen toegang tot de website kunnen krijgen.
- Netwerkfout: Er is een fout met het netwerk opgetreden.
- Time-out tijdens lezen van pagina: Het duurde erg lang voordat de server de pagina retourneerde en we zijn gestopt met het crawlen van dat product.
- Server leidt te vaak om: Uw server heeft de crawl meerdere keren omgeleid, waardoor de crawl is stopgezet.
- Omleidings-URL te lang, lege omleidings-URL, onjuiste omleidings-URL: De omleidings-URL die door uw server is geretourneerd, is niet geldig, waardoor we deze niet kunnen volgen.
- robots.txt van server niet bereikbaar, time-outs bij het lezen van robots.txt: We kunnen uw robots.txt-bestand niet lezen en kunnen uw pagina daarom niet crawlen. Bekijk hier voor meer informatie over het robots-uitsluitingsprotocol.