Про веб-сканер контенту

Веб-сканер, також відомий як павук або робот, – це програмне забезпечення, яке використовується системою Google для обробки й індексування контенту на веб-сторінках. Вебсканер контенту відвідує ваш сайт, щоб визначити його вміст для надання релевантних оголошень.

Нижче наведено важливу інформацію про сканер контенту.

• Дані звіту вебсканера оновлюються щотижня.
  Сканування відбувається автоматично. Ми не можемо збільшити його частоту.
• Вебсканер контенту відрізняється від вебсканера Google.
  Ці два вебсканери працюють окремо, але використовують спільний кеш. Завдяки цьому ви зберігаєте пропускну спроможність, адже вебсканери не запитують ті самі сторінки. Вебсканер Search Console також діє ізольовано.
• Вирішення проблем із вебсканером контенту не впливає на роботу вебсканера Google.
  Усунення проблем, указаних на сторінці "Доступ для вебсканера", не впливає на позицію в результатах пошуку Google.
  Примітка. Щоб дізнатися більше про рейтинги в системі Google, перегляньте статтю Включення сайту в результати пошуку Google.
• Вебсканер виконує індексування за URL-адресою.
  Наприклад, адреси site.com і site.com вебсканер оброблятиме як два різні сайти, а site.com і site.com/#anchor розпізнаватимуться як той самий сайт.
• Веб-сканер не отримає доступу до сторінок і каталогів, заборонених файлом robots.txt.
  Вебсканери Google і AdMob Mediapartners дотримуються обмежень, визначених файлом robots.txt. Якщо він забороняє обробляти певні сторінки й каталоги, вони не скануватимуться.
  Примітка. Якщо ви розміщуєте оголошення на сторінках, виключених за допомогою рядка User-agent: *, вебсканер контенту все одно просканує ці сторінки. Щоб заборонити сканування таких сторінок, укажіть у файлі robots.txt рядок User-agent: Mediapartners-Google.

  Докладніше про те, як надати вебсканеру доступ до сторінок вашого сайту.
• Вебсканер спробує отримати доступ лише до URL-адрес, у яких наявні наші теги оголошень.
  Лише ті сторінки, на яких відображаються оголошення Google, надсилатимуть запити до нашої системи та скануватимуться.
• Вебсканер спробує отримати доступ до сторінок, з яких здійснюється переспрямування.
  Щоб перевірити наявність переспрямування на інші сторінки, наш вебсканер має отримати доступ до ваших початкових сторінок. Такі переходи на початкові сторінки реєструються в журналах доступу.
• Ми не можемо контролювати те, як часто вебсканери індексують контент на сайті.
  Зараз сканування здійснюється роботами автоматично. Якщо на сторінці внесено зміни, вони відобразяться в нашому індексі протягом 1–2 тижнів.