Programmer

Løs problemer med indholdscrawlren

Når du sikrer dig, at der kan crawles overalt på dit website, kan du øge dit indholds indtjeningspotentiale. Hvis indholdscrawleren ikke kan få adgang til dit indhold, kan du se følgende liste over crawlerproblemer, der kan hjælpe dig med at løse problemet.

Adgangsproblemer

Mulig årsag	Tjek dette	Sådan løser du problemet
Dit website befinder sig bag et login. Det er muligt, at webcrawleren omdirigeres til en loginside, hvilket betyder, at den ikke kan crawle dit indhold.	Har besøgende brug for loginoplysninger for at få adgang til dit indhold?	Konfigurer et crawlerlogin for at bruge webindhold bag login til indholdstilknytning i apps.
Dit indhold ligger bag et begrænset netværks- eller IP-område.	Har du indført begrænsninger på, hvilke geografiske områder eller IP-områder der kan få adgang til dit indhold?	Overvej at fjerne disse begrænsninger eller gøre dit indhold offentligt tilgængeligt, så webcrawleren kan crawle dine webadresser.
Du har blokeret webcrawleren i din robots.txt-fil.	Er webcrawleren ikke tilladt i din robots.txt-fil?	Giv webcrawleren adgang i din robots.txt-fil.

Websiterelaterede problemer

Mulig årsag	Tjek dette	Sådan løser du problemet
Dit website kan ikke findes. Hvis den webadresse, der er sendt til Google, peger på en side, der ikke findes på et website, eller resulterer i en 404-fejl ("Siden blev ikke fundet"), kan webcrawleren ikke crawle dit indhold.	Kører dit website? Kan besøgende få adgang til dit website på nettet?	Sørg for, at dit website er offentliggjort og vises live på nettet.
Der er nyligt offentliggjort indhold på dit website. Når du udgiver en ny side, kan du udarbejde annonceanmodninger, inden Googles crawlere har haft mulighed for at crawle indholdet. Eksempler på websites, hvor der bliver opslået en masse nyt indhold, omfatter websites med brugergenereret indhold, nyhedsartikler, store varelagre eller vejrrelaterede websites.	Har du for nylig offentliggjort nyt indhold?	Giv mere tid til, at webcrawleren kan gennemgå dit nye indhold. Når en annonceanmodning foretages på en ny webadresse, crawles indholdet normalt inden for få minutter. Men i løbet af disse første minutter kan annoncevolumen være lav, fordi indholdet endnu ikke er blevet crawlet.
Dit website bruger flere omdirigeringer. Hvis dit website bruger omdirigeringer, er der risiko for, at annoncens crawler kan have problemer med at følge dem. Hvis der f.eks. er mange omdirigeringer, og mellemliggende omdirigeringer mislykkes, eller hvis vigtige parametre såsom cookies går tabt under omdirigering, kan det sænke kvaliteten af crawlingen.	Bruger dit website masser af omdirigeringer? Har du konfigureret omdirigeringer på sider, hvor du viser annoncer?	Overvej at minimere brugen af omdirigeringer på sider med annoncekode. Sørg for, at alle dine omdirigeringer er implementeret korrekt.
Du bruger tilpassede webadresser til sider. Nogle websites indeholder ekstra parametre i deres webadresser, der angiver den bruger, der er logget ind (f.eks. et sessions-id) eller andre oplysninger, der kan være unikke for hvert besøg. Når dette sker, kan webcrawleren behandle webadressen som en ny side, også selvom indholdet er det samme. Dette kan medføre et par minutters forsinkelse mellem den første annonceanmodning på siden, og tidspunktet for hvornår siden bliver crawlet samt en stigning i webcrawlerbelastningen på dine egne servere.	Bruger dit website webadresser med ekstra parametre eller dynamisk genererede webadressestier?	Hvis indholdet på en side ikke ændres, bør du generelt overveje at fjerne parametrene fra webadressen og beholde disse oplysninger på anden måde. Hvis du har en mere enkel webadressestruktur, kan det nemmere crawle dit website.
Du bruger POST-data. Hvis dit website sender POST-data sammen med webadresser (f.eks. sender formulardata via en POST-anmodning), er det muligt, at dit website afviser anmodninger, der ikke følges af POST-data. Bemærk, at da webcrawleren ikke angiver nogen POST-data, vil en sådan konfiguration forhindre, at crawleren får adgang til din side.	Sender dit website POST-data sammen med webadresser?	Hvis sidens indhold bestemmes af dataene, som brugeren indsætter i formularen, kan du overveje at bruge en GET-anmodning.

Problemer med hosting

Mulig årsag	Tjek dette	Sådan løser du problemet
Der er et problem med dit websites navneserver.	Er din navneserver konfigureret korrekt? Har du nogen begrænsninger på, hvor anmodninger kan komme fra?	Sørg for, at navneserveren for dit domæne eller underdomæne dirigerer webcrawleren korrekt til dit indhold.
Der er et problem med serveren på dit website. Når webcrawleren forsøger at få adgang til indholdet på websitet, er websitets servere sommetider ikke i stand til at svare rettidigt. Dette kan ske, fordi serveren er nede, langsom eller bliver overbelastet af anmodninger.	Kører dit websites server?	Vi anbefaler, at du sikrer, at dit website hostes på en pålidelig server eller af en pålidelig tjenesteudbyder.

Mulig årsag do this

Tjek dette do this

Sådan løser du problemet

Der er et problem med dit websites navneserver.

Er din navneserver konfigureret korrekt? Har du nogen begrænsninger på, hvor anmodninger kan komme fra?

Sørg for, at navneserveren for dit domæne eller underdomæne dirigerer webcrawleren korrekt til dit indhold.

Der er et problem med serveren på dit website.

Når webcrawleren forsøger at få adgang til indholdet på websitet, er websitets servere sommetider ikke i stand til at svare rettidigt. Dette kan ske, fordi serveren er nede, langsom eller bliver overbelastet af anmodninger.

Kører dit websites server?

Vi anbefaler, at du sikrer, at dit website hostes på en pålidelig server eller af en pålidelig tjenesteudbyder.

Var disse oplysninger nyttige?

Hvordan kan vi forbedre siden?