クローラはウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。アド マネージャー クローラは、関連性の高い広告を配信する目的で、サイトにアクセスしてコンテンツを判定します。
アド マネージャー クローラに関しては、以下の点に注意する必要があります。
- アド マネージャー クローラは Google クローラとは異なります。2 つのクローラは別個のものですが、キャッシュを共有しています。これは、2 つのクローラが同じページをリクエストする事態を防ぎ、サイトの帯域幅を節約することに役立ちます。同様に、ウェブマスター ツールのクローラも別個のものです。
- アド マネージャー クロールの問題を解決しても、Google クロールの問題の解決にはなりません。アド マネージャー クローラの問題を解決しても、Google 検索結果の掲載順位は変化しません。Google でのサイトのランキングについて詳しくは、Google の検索結果にサイトを表示する方法をご覧ください。
- クローラは URL 単位でインデックスを登録します。 クローラは、site.com と
site.comには個別にアクセスしますが、site.comとsite.com/#anchorは区別しません。 - クローラは robots.txt ファイルで禁止されているページやディレクトリにはアクセスしません。Google クローラとアド マネージャー パートナーのクローラはどちらも robots.txt ファイルを尊重し、robot.txt ファイルでアクセスが禁止されているページやディレクトリをクロールすることはありません。
ただし、
User-agent: *の行でロボットのクロールがブロックされているページに広告を掲載している場合、Ad Exchange クローラはページのクロールを継続します。Ad Exchange クローラによるページのクロールを禁止するには、robots.txt ファイルでUser-agent: Mediapartners-Googleを指定する必要があります。robots.txt ファイルでクローラのアクセスを許可する方法をご確認ください。
- クローラは Google の広告タグが実装されている URL にのみアクセスを試みます。 Google の広告を掲載しているページだけがリクエストを送信し、クロールの対象になります。
- クローラはリダイレクト元のページにアクセスを試みます。他のページにリダイレクトするページ（リダイレクト元のページ）がある場合、クローラはリダイレクト元のページにアクセスして、リダイレクトが設定されていることを確認する必要があります。このため、クローラによるリダイレクト元ページへのアクセスがアクセスログに記録されます。
- クローラがサイトにアクセスする頻度。現時点では、クローラがサイトのコンテンツをインデックスに登録する頻度を調整することはできません。クロールはロボットにより自動的に行われます。ページを変更した場合、Google のインデックスに変更が反映されるまでに最大で 1～2 週間かかります。
