Informazioni sul crawler dei contenuti

Il crawler, chiamato anche spider o bot, è il software utilizzato da Google per elaborare e indicizzare i contenuti delle pagine web. Il crawler dei contenuti visita il tuo sito per determinarne i contenuti al fine di pubblicare annunci pertinenti.

Aspetti importanti da considerare sul crawler dei contenuti:

• Il report del crawler viene aggiornato settimanalmente.
  La scansione viene eseguita automaticamente. Non siamo in grado di soddisfare richieste di scansione più frequenti.
• Il crawler dei contenuti è diverso dal crawler di Google.
  Si tratta di due crawler distinti che però condividono la medesima cache. In questo modo, i crawler non possono richiedere le stesse pagine e puoi risparmiare larghezza di banda. Anche il crawler utilizzato da Search Console è diverso.
• La risoluzione dei problemi relativi al crawler dei contenuti non risolve i problemi relativi alla scansione di Google.
  La risoluzione dei problemi indicati nella pagina Accesso crawler non avrà alcun impatto sul ranking nei risultati di ricerca di Google.
  Nota: per scoprire di più sul ranking del tuo sito su Google, consulta la pagina sull'inclusione nei risultati di ricerca di Google.
• Il crawler effettua l'indicizzazione in base all'URL.
  Ad esempio, il nostro crawler accederà a "site.com" e a "site.com" separatamente. Tuttavia, il nostro crawler non conteggia separatamente "site.com" e "site.com/#anchor".
• Il crawler non accede a pagine o directory bloccate da un file robots.txt.
  Entrambi i crawler Mediapartners Google e AdMob rispettano il file robots.txt. Se questo file impedisce l'accesso a determinate pagine o directory, queste non vengono sottoposte a scansione.
  Nota: se pubblichi annunci su pagine bloccate dalla riga User-agent: *, il crawler dei contenuti eseguirà comunque la scansione di queste pagine. Per impedire al crawler di AdSense di accedere alle tue pagine, devi specificare User-agent: Mediapartners-Google nel file robots.txt.

  Scopri di più su come concedere al nostro crawler l'accesso alle tue pagine.
• Il crawler prova ad accedere agli URL solo nei punti in cui sono implementati i nostri tag annuncio.
  Solo le pagine che pubblicano gli annunci Google devono inviare richieste ai nostri sistemi ed essere sottoposte a scansione.
• Il crawler cercherà di accedere alle pagine che effettuano un reindirizzamento.
  Quando le "pagine originali" rimandano ad altre pagine, il crawler deve accedere alle pagine originali per verificare il funzionamento del reindirizzamento. Pertanto, questa visita verrà registrata nei log di accesso.
• Non è possibile controllare la frequenza con cui i nostri crawler indicizzano i contenuti del tuo sito.
  Al momento, la scansione viene eseguita automaticamente dai nostri bot. Se modifichi una pagina, potrebbero trascorrere fino a 1 o 2 settimane prima che le modifiche vengano acquisite nel nostro indice.