Как устранять неполадки, связанные с целевыми страницами, которые не удается просканировать

Чтобы устранить проблемы с целевыми страницами, которые не могут сканировать роботы Google, выполните действия, описанные ниже.

Шаг 1. Выясните, как в настройках креатива появилась целевая страница, которую невозможно просканировать

1. Откройте креатив.
2. Нажмите Статус креатива.
3. Если ничего не происходит, нажмите Проверка в Дисплее и Видео 360. Скопируйте URL целевой страницы, которую не удается просканировать, из отзыва.
4. Выполните предварительный просмотр креатива, а затем нажмите на него, чтобы перейти на целевую страницу. Сравните этот URL с адресом, скопированным ранее.
   • Если URL совпадают, нажмите Сведения о креативе и найдите URL целевой страницы. Замените его на другой URL сканируемой страницы или проверьте, есть ли у робота AdsBot доступ к целевой странице.
   • Если URL не совпадают, перейдите к следующему шагу, чтобы узнать, где находится целевая страница с ошибками.
5. Выявите местоположение целевой страницы с ошибками:
   • Откройте файлы HTML и JavaScript, относящиеся к креативу, и найдите обнаруженный Дисплеем и Видео 360 URL, который не удается просканировать.
   • Если креатив был получен из Менеджера кампаний 360 в результате синхронизации, обратитесь к трафик-менеджеру рекламодателя с просьбой удалить или заменить проблемный URL в месте размещения Менеджера кампаний 360.
   • Если Дисплей и Видео 360 не может найти целевую страницу креатива, вместо нее будет использоваться сайт вашего рекламодателя в Дисплее и Видео 360. Чтобы найти этот URL, выберите своего рекламодателя и нажмите Настройки > Основные сведения. Найдите URL, указанный в поле Сайт.

Шаг 2. Проверьте, есть ли в домене файлы robots.txt

Администраторы с доступом к сайту рекламодателя в Google Search Console для устранения неполадок могут использовать инструмент проверки файла robots.txt. Если у вас нет необходимого доступа, выполните следующие действия:

1. Скопируйте URL и вставьте в адресную строку браузера.
2. Добавьте /robots.txt после доменного имени и нажмите клавишу "Ввод". Например, если URL целевой страницы выглядит как https://example.com/folder1/folder2/, введите https://example.com/robots.txt. Так вы узнаете, каким роботам разрешено сканировать домен.
   • Если файл пуст или отсутствует, вас могут перенаправить на главную страницу. Роботам Google предоставляется доступ к сайтам, на которых нет файла robots.txt
   • Если на сайте есть файл robots.txt, поищите следующие строки:
     User-agent: AdsBot-Google
User-agent: Googlebot
     Если вам удалось их найти, убедитесь, что после них нет такой строки:
     Disallow: /
     Если доступ запрещен, попросите администратора удалить символ / или заменить строку на вариант Allow: /.
3. Если целевая страница является субдоменом, проверьте, есть ли в субдомене собственный файл robots.txt. Пример: https://subdomain.example.com/robots.txt. Убедитесь, что этот файл robots.txt также не блокирует указанным выше агентам пользователей доступ к целевой странице.

Примеры

Пример файла robots.txt	Допущенные поисковые роботы
User-agent: AdsBot-Google Disallow: User-agent: Googlebot Disallow:
User-agent: AdsBot-Google Allow: / User-agent: Googlebot Allow: /
User-agent: AdsBot-Google Disallow: / User-agent: Googlebot Disallow: /
User-agent: AdsBot-Google Allow: User-agent: Googlebot Allow:
User-agent: AdsBot-Google User-agent: Googlebot

Шаг 3. Проверьте, можно ли сканировать целевую страницу

1. Откройте целевую страницу в Google Chrome.
2. Откройте меню Chrome и нажмите Дополнительные инструменты > Инструменты разработчика.
3. На панели Инструменты разработчика нажмите на значок > Другие инструменты > Условия работы сети.
4. В разделе "Агент пользователя" снимите флажок "Использовать настройки браузера по умолчанию".
5. В раскрывающемся списке агентов пользователей выберите вариант "Googlebot". Обновите страницу, чтобы узнать, есть ли у робота Googlebot доступ к ней.
6. В раскрывающемся списке агентов пользователей выберите вариант "Настроить". В поле ниже введите новый путь к агенту пользователя: AdsBot-Google (+http://google.com/adsbot.html). Обновите страницу, чтобы узнать, есть ли у робота AdsBot доступ к ней.

Другие причины проблем со сканированием целевой страницы

Если Google AdsBot может сканировать целевую страницу, ошибки со сканированием могут возникать по другим причинам:

• Целевая страница не загружается. Если вы пытаетесь открыть ее в браузере и видите сообщение об ошибке (например, "404 – страница не найдена"), попросите администратора убедиться, что целевая страница может загружаться в любом браузере и на любой платформе (как на компьютерах, так и на мобильных устройствах).
• Целевая страница требует входа в аккаунт. Все целевые страницы должны быть общедоступными. Укажите другую целевую страницу или попросите администратора отключить на ней запрос на вход в аккаунт.
• На целевой странице используется слишком много переадресаций. Их должно быть не более 10. Попросите администратора устранить эту проблему. Подробнее о переадресации домена…
• Целевая страница содержит поисковую систему, которая не возвращает результаты при загрузке страницы. Если целевая страница запускает поиск по сайту, убедитесь, что при этом возвращается результат. В противном случае поисковый робот будет считать страницу недействительной. Попросите администратора настроить показ каких-нибудь результатов по умолчанию вместо сообщения об их отсутствии или об ошибке.
• URL целевой страницы содержит символ решетки (#). Дисплей и Видео 360 не может обрабатывать такие URL. Удалите этот символ или укажите другую целевую страницу.
• Не удается просканировать целевую страницу из-за слишком большого времени ожидания. Google пытается обработать страницу, но время выполнения запроса слишком велико. Время ожидания может иногда увеличиваться по разным причинам. Если эта проблема возникает слишком часто, свяжитесь с администратором сайта.

Как найти URL, заданные в коде креатива и недоступные роботам Google

В Дисплее и Видео 360 URL целевой страницы креатива могут быть указаны в разных местах. Иногда они задаются непосредственно в коде креатива. Чтобы найти подобные URL, выполните описанные ниже действия.