クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。コンテンツ クローラは、関連性の高い広告を配信する目的でサイトにアクセスしてコンテンツを判定します。
コンテンツ クローラに関する重要事項は次のとおりです。
- クローラ レポートの更新は週 1 回です。
クロール処理は自動的に実行されるため、頻度を増やすご要望にお応えすることはできません。 - コンテンツ クローラは Google クローラとは異なります。
これら 2 つのクローラは別個のものですが、キャッシュを共有しています。これにより、2 つのクローラが同じページをリクエストする事態を防ぎ、サイトの帯域幅を節約できます。同様に、Search Console クローラも別個のクローラです。 - コンテンツ クローラの問題を解決しても、Google クロールの問題の解決にはなりません。
[クローラ アクセス] ページに表示される問題を解決しても、Google 検索のランキングには影響しません。注: Google でのサイトのランキングについて詳しくは、Google の検索結果にサイトを表示させる方法についての記事をご覧ください。 - クローラは URL 単位でインデックスを登録します。
たとえば、クローラは「site.com」と「site.com」には別々にアクセスしますが、「site.com」と「site.com/#anchor」は区別しません。 - クローラは robots.txt ファイルで禁止されているページやディレクトリにはアクセスしません。
Google クローラと AdMob Mediapartners クローラはいずれも robots.txt ファイルを尊重するため、robots.txt ファイルでアクセスが禁止されているページやディレクトリをクロールすることはありません。注:User-agent: *の行でロボットのクロールがブロックされているページに広告を掲載している場合、コンテンツ クローラはページのクロールを継続します。コンテンツ クローラによるページのクロールを停止するには、robots.txt ファイルでUser-agent: Mediapartners-Googleを指定する必要があります。詳しくは、Google クローラにページへのアクセスを許可する方法についての記事をご覧ください。 - クローラは Google の広告タグが実装されている URL にのみアクセスを試みます。
Google 広告を掲載しているページのみがリクエストを送信し、それに応じてクロールが行われます。 - クローラはリダイレクト元のページにアクセスを試みます。
他のページにリダイレクトするページ（リダイレクト元のページ）がある場合、クローラはリダイレクト元のページにアクセスして、リダイレクトが設定されていることを確認する必要があります。このため、クローラによるリダイレクト元ページへのアクセスがアクセスログに記録されます。 - クローラがサイトのコンテンツをインデックスに登録する頻度を調整することはできません。
現時点では、クロールはロボットにより自動的に行われます。ページを変更した場合、Google のインデックスに変更が反映されるまでに最長で 1～2 週間かかる場合があります。