Om indholdscrawleren

En webcrawler, der også kaldes en spider eller en bot, er den software, Google benytter til at behandle og indeksere indholdet af websider. Indholdscrawleren besøger dit website for at bestemme indholdet og vise relevante annoncer.

Vigtigt at vide om indholdscrawleren:

• Crawlerrapporten opdateres hver uge.
  Crawlen udføres automatisk. Vi kan ikke imødekomme anmodninger om en mere hyppig gennemsøgning.
• Indholdscrawleren adskiller sig fra Googles crawler.
  Disse to crawlere kører separat, men de deler en cache. Det gør vi for at forhindre, at begge crawlere skulle anmode om de samme sider, og på den måde sørger vi for, at du kan bibeholde din båndbredde. Crawleren i Search Console kører også separat.
• Hvis du løser problemer med indholdscrawleren, løser det ikke problemer med Googles crawler.
  Hvis du løser de problemer, der er angivet på siden Crawleradgang, påvirker det ikke din rangering i Google Søgning.
  Bemærk! Du kan få flere oplysninger om dit websites rangering på Google ved at gå til Sådan får du dit website med i Googles søgeresultater.
• Crawleren indekserer efter webadresse.
  Vores crawler besøger f.eks. "site.com" og "site.com" hver for sig. Vores crawler tæller dog ikke "site.com" og "site.com/#anchor" hver for sig.
• Crawleren vil ikke forsøge at få adgang til sider eller mapper, der er beskyttet af en robots.txt-fil.
  Både Googles og AdSense Mediapartners crawlere respekterer din robots.txt-fil. Hvis din robots.txt-fil forbyder adgang til visse sider eller mapper, vil de ikke blive gennemsøgt.
  Bemærk! Hvis du viser annoncer på sider, der er indstillet til ikke at skulle indekseres med linjen User-agent: *, gennemsøger indholdscrawleren alligevel disse sider. Hvis du vil forhindre, at indholdscrawleren får adgang til dine sider, skal du angive User-agent: Mediapartners-Google i din robots.txt-fil.

  Få flere oplysninger om, hvordan du giver vores crawler adgang til dine sider.
• Crawleren forsøger kun at få adgang til webadresser, hvor vores annoncetags er implementeret.
  Det er kun sider, der viser Google-annoncer, som skal sende anmodninger til vores systemer om at blive gennemsøgt.
• Crawleren forsøger at få adgang til sider, der omdirigerer.
  Hvis du har "originale sider", der omdirigerer til andre sider, skal vores webcrawler besøge de oprindelige sider for at kunne fastslå, at der finder en omdirigering sted. Derfor vil vores crawlers besøg på de oprindelige sider blive vist i dine adgangslogfiler.
• Du kan ikke styre, hvor ofte vores crawlere indekserer indholdet på dit website.
  I øjeblikket foretages gennemsøgningen automatisk af vores bots. Når du foretager ændringer på en side, kan der gå op til to uger, før ændringerne afspejles i vores indeks.