Sobre o rastreador de conteúdo

Um rastreador, também conhecido como indexador ou bot, é o software que o Google usa para processar e indexar o conteúdo de páginas da Web. Ele acessa seu site para identificar o conteúdo e exibir anúncios relevantes.

Informações importantes sobre o rastreador de conteúdo:

• O relatório do rastreador é atualizado semanalmente.
  O rastreamento é realizado de forma automática, e não aceitamos solicitações para rastreamento mais frequente.
• O rastreador de conteúdo é diferente do rastreador do Google.
  Esses dois rastreadores são independentes, mas compartilham um cache. Assim, eles não solicitam as mesmas páginas, o que ajuda você a manter a largura de banda. Da mesma forma, o rastreador do Search Console é independente.
• A solução de problemas do rastreador de conteúdo não resolve problemas com o rastreamento do Google.
  A correção dos problemas listados na página "Acesso do rastreador" não afeta o ranking da pesquisa do Google.
  Observação: para saber mais sobre a classificação do seu site no Google, acesse como aparecer nos resultados da pesquisa do Google.
• O rastreador faz a indexação por URL.
  Por exemplo, o rastreador acessa "site.com" e "site.com" separadamente. No entanto, ele não considera "site.com" e "site.com/#anchor" de forma separada.
• O rastreador não acessará páginas ou diretórios proibidos por um arquivo robots.txt.
  Ambos os rastreadores do Google e do AdMob Mediapartners respeitam seu arquivo robots.txt. Se esse arquivo proibir o acesso a determinados diretórios ou páginas, eles não serão rastreados.
  Observação: se você estiver veiculando anúncios em páginas em que o robô está em execução com a linha User-agent: *, o rastreador do conteúdo vai continuar atuando nessas páginas. Para impedir que o rastreador acesse suas páginas, especifique User-agent: Mediapartners-Google no arquivo robots.txt.

  Saiba mais sobre como dar acesso ao rastreador às suas páginas.
• O rastreador tentará acessar os URLs somente onde nossas tags de anúncio forem implementadas.
  Somente páginas que exibem anúncios do Google devem enviar solicitações para nossos sistemas e ser rastreadas.
• O rastreador tentará acessar páginas com redirecionamento.
  Quando você tem "páginas originais" que redirecionam para outras páginas, nosso rastreador precisa acessar as páginas originais para identificar se existe um redirecionamento. Desse modo, a visita do nosso rastreador às páginas originais aparece nos seus registros de acesso.
• Não é possível controlar a frequência com que nossos rastreadores indexam o conteúdo do seu site.
  No momento, o rastreamento é feito automaticamente pelos nossos bots. Se você fizer mudanças em uma página, poderá levar de uma a duas semanas para que o índice seja atualizado.