Despre crawlerul de conținut

Un crawler, denumit și program spider sau aplicație bot, este un software folosit de Google pentru a procesa și a indexa conținutul paginilor web. Crawlerul de conținut accesează site-ul dvs. pentru a determina conținutul acestuia cu scopul de a afișa anunțuri relevante.

Informații importante despre crawlerul de conținut

• Raportul crawlerului este actualizat săptămânal.
  Accesarea cu crawlere este realizată automat. Nu putem accepta solicitările de accesare mai frecventă cu crawlere.
• Crawlerul de conținut este diferit de crawlerul Google.
  Aceste două crawlere sunt separate, dar folosesc aceeași memorie cache. Procedăm astfel pentru a împiedica solicitarea acelorași pagini de ambele crawlere, ajutându-vă să vă protejați lățimea de bandă. În plus, și crawlerul Search Console este separat.
• Remedierea problemelor privind crawlerul de conținut nu va remedia problemele de accesare cu crawlerul Google.
  Remedierea problemelor afișate în pagina Acces crawler nu va influența poziționarea în Căutarea Google.
  Notă: pentru a afla mai multe despre poziționarea site-ului dvs. pe Google, consultați articolul Includerea site-ului în rezultatele căutării Google.
• Crawlerul indexează în funcție de adresa URL.
  De exemplu, crawlerul va accesa site.com și site.com separat. Cu toate acestea, crawlerul nu contorizează separat site.com și site.com/#anchor.
• Crawlerul nu va accesa paginile sau directoarele interzise printr-un fișier robots.txt.
  Crawlerele Google și AdMob Mediapartners țin cont de fișierul robots.txt. Dacă fișierul robots.txt interzice accesul la anumite pagini sau directoare, atunci acestea nu vor fi accesate cu crawlere.
  Notă: dacă difuzați anunțuri în pagini care includ rândul User-agent: *, crawlerul de conținut va accesa totuși aceste pagini. Pentru a nu permite crawlerului de conținut să vă acceseze paginile, trebuie să includeți User-agent: Mediapartners-Google în fișierul robots.txt.

  Aflați mai multe despre acordarea accesului crawlerului la paginile dvs.
• Crawlerul va încerca să acceseze adrese URL doar acolo unde sunt implementate etichetele noastre publicitare.
  Numai paginile care afișează anunțuri Google trebuie să trimită solicitări către sistemele noastre și să fie accesate cu crawlere.
• Crawlerul va încerca să acceseze paginile care fac redirecționări.
  Când aveți „pagini inițiale” care redirecționează spre alte pagini, crawlerul nostru trebuie să acceseze paginile inițiale pentru a afla dacă are loc o redirecționare. Prin urmare, accesarea de către crawler a paginilor inițiale va apărea în jurnalele de acces.
• Nu există nicio modalitate de a controla frecvența cu care crawlerele noastre indexează conținutul site-ului dvs.
  Momentan, accesarea cu crawlere este făcută automat de roboții noștri. Dacă modificați o pagină, reflectarea modificărilor în indexul nostru ar putea dura până la 1 – 2 săptămâni.