En sökrobot, även kallad spindel, är det program Google använder för att bearbeta och indexera innehållet på webbsidor. Innehållssökroboten besöker din webbplats för att avgöra vilket innehåll den har, så att vi kan visa relevanta annonser.
Viktigt att veta om innehållssökroboten:
- Sökrobotrapporten uppdateras varje vecka.
Genomsökningen utförs automatiskt. Vi kan inte tillgodose förfrågningar om att utföra genomsökningar oftare. - Innehållssökroboten skiljer sig från Google-sökroboten.
Det är två separata sökrobotar, men de delar samma cacheminne. Detta gör vi för att undvika att båda sökrobotarna begär samma sidor. På så sätt kan du spara bandbredd. På samma sätt är Search Console-sökroboten en separat sökrobot. - När du löser problem med innehållssökroboten löser du inte problem med Google-genomsökningen.
När du åtgärdar problem som anges på sidan Tillgång till sökrobot påverkas inte din rankning i Googles sökresultat.Obs! Om du vill veta mer om hur din webbplats rankas på Google kan du läsa om hur du inkluderar din webbplats i Googles sökresultat. - Sökroboten indexerar efter webbadress.
Vår sökrobot besöker till exempel site.com och site.com separat. Däremot räknar den inte site.com och site.com/#anchor som separata webbplatser. - Sökroboten får inte åtkomst till sidor eller kataloger som förbjuds av en robots.txt-fil.
Både Googles och AdMobs mediepartners sökrobotar tar hänsyn till din robots.txt-fil. Om filen robot.txt förbjuder åtkomst till vissa sidor eller kataloger, genomsöks de inte av sökroboten.Obs! Om du visar annonser på sidor som har valts bort med radenUser-agent: *
genomsöker innehållssökroboten ändå dessa sidor. Om du vill förhindra att innehållssökroboten kommer åt dina sidor måste du angeUser-agent: Mediapartners-Google
i filen robots.txt.Läs mer om hur du ger sökroboten åtkomst till dina sidor. - Sökroboten försöker bara att öppna webbadresser där våra annonstaggar har införts.
Endast sidor där Google-annonser visas bör skicka begäranden till våra system och genomsökas. - Sökroboten försöker få åtkomst till sidor som omdirigerar.
Om du har ”ursprungliga sidor” som omdirigerar till andra sidor, måste sökroboten besöka de ursprungliga sidorna för att kunna fastställa att det finns en omdirigering. Därför kan du se i åtkomstloggarna att sökroboten har besökt de ursprungliga sidorna. - Det går inte att styra hur ofta våra sökrobotar indexerar innehållet på din webbplats.
För närvarande utförs genomsökningen automatiskt av våra robotar. Om du inför ändringar på en sida kan det ta en till två veckor innan ändringarna syns i vårt index.