Acerca del rastreador de contenido

El rastreador, también conocido como araña o robot, es el software que usa Google para procesar e indexar el contenido de páginas web. El rastreador de contenido visita tu sitio para analizar su contenido y ofrecer anuncios relevantes.

Aspectos importantes sobre el rastreador de contenido:

• El informe del rastreador se actualiza semanalmente.
  El rastreo se realiza automáticamente. No podemos aceptar solicitudes para realizar rastreos con más frecuencia.
• El rastreador de contenido es distinto del de Google.
  Los dos rastreadores son independientes el uno del otro, pero comparten la caché. De este modo, se impide que ambos soliciten las mismas páginas, con lo que los editores pueden ahorrar en ancho de banda. El rastreador de Search Console también es diferente.
• Solucionar los problemas de los rastreadores de contenido no soluciona los del rastreador de Google.
  La resolución de los problemas que se indican en la página Acceso del rastreador no afectará a tu clasificación en la Búsqueda de Google.
  Nota: Para obtener más información sobre el posicionamiento de su sitio en Google, consulte el artículo sobre cómo aparecer en los resultados de búsqueda de Google.
• El rastreador indexa por URL.
  Por ejemplo, nuestro rastreador accede a "sitio.com" y a "sitio.com" por separado. Sin embargo, nuestro rastreador no contabiliza "sitio.com" y "sitio.com/#ancla" por separado.
• El rastreador no accede a las páginas ni a los directorios que se prohíben mediante el archivo robots.txt.
  Los rastreadores Mediapartners de Google y de AdMob respetan el archivo robots.txt. Si tu archivo robot.txt prohíbe el acceso a unas páginas o a unos directorios determinados, no se rastrearán.
  Nota: Si sirves anuncios en páginas que se estén excluyendo automáticamente con la línea User-agent: *, el rastreador de contenido seguirá rastreándolas. Para evitar que acceda a esas páginas, debes especificar User-agent: Mediapartners-Google en el archivo robots.txt.

  Más información sobre cómo dar acceso a nuestro rastreador a tus páginas
• El rastreador únicamente intentará acceder a las URLs en las que se hayan implementado nuestras etiquetas de anuncios.
  Solo las páginas en las que se muestren anuncios de Google deben enviar solicitudes a nuestros sistemas para que se rastreen.
• El rastreador intentará acceder a las páginas que redireccionan a otras.
  Si tienes páginas originales que redirijan a otras, nuestro rastreador deberá acceder a ellas para determinar que se efectúa la redirección. Por lo tanto, en tus registros de acceso aparecerá la visita del rastreador a las páginas originales.
• No hay forma de controlar la frecuencia con la que nuestros rastreadores indexan el contenido de tu sitio.
  Por el momento, los robots realizan el rastreo automáticamente. Si haces cambios en una página, pueden transcurrir de una a dos semanas antes de que queden reflejados en nuestro índice.