В файлах отчетов о передаче данных содержатся неагрегированные данные кампаний на уровне событий. Такая информация представляет собой необработанный контент из журналов серверов объявлений Менеджера рекламы. Для каждого типа события создается отдельный файл со сведениями с точностью до секунды. Вы также можете включить в эти файлы и другие данные, имеющие отношение к событию, например информацию об устройстве, местоположении и т. д. Рекламные блоки будут внесены в файлы передачи данных, как только партнеры одобрят эти рекламные блоки в Менеджере рекламы.
Начало работы
Функция отчетов о передаче данных предоставляется за дополнительную плату. Чтобы активировать ее, обратитесь к менеджеру вашего аккаунта. Получив доступ к этой функции, вы можете задавать типы файлов передачи данных. В Google Менеджере рекламы для этого используются два формата файлов: CSV и Parquet.
Если ваша организация не может выполнять извлечение, преобразование и загрузку данных (ETL), работать с большими файлами и текстовыми документами, проектировать и администрировать базы данных среднего размера, а также создавать и внедрять скрипты, обратитесь к одному из одобренных партнеров Google Платформы для маркетинга.
Доступные файлы отчетов о передаче данных
В каждом файле отчетов о передаче данных содержатся сведения о разных событиях. Если вам нужна дополнительная информация, связанная с этими событиями, вы можете добавить поля для каждого типа файла.
Backfill, то файл Network не будет содержать данные о показах, выполненных с помощью динамического размещения в Ad Exchange или AdSense. Статистика таких показов будет представлена в файле Backfill.О чем следует помнить при работе с файлами передачи данных
- Запаздывание данных
Задержка может составлять несколько часов, но иногда на обработку файлов может уйти больше времени, чем обычно. Если данные получены с опозданием, они включаются в пакетный файл следующего часа, но их метка времени при этом остается неизменной. Например, в файле могут быть записаны преимущественно события, происходившие с 8:00 до 9:00, и несколько событий, зарегистрированных ранее, если их обработка не была выполнена вовремя. -
Часы, в которые не зафиксировано никаких действий
Если в определенный час не зафиксировано никаких действий, создается пустой файл с заголовком. - Границы дат и дней
В файле за первый час обычно указаны события, зарегистрированные между полуночью и 1:00 по тихоокеанскому времени. При этом их временные метки будут соответствовать часовому поясу сети издателя. Так, если в его аккаунте установлено московское время, то в первом почасовом файле он увидит события, произошедшие либо с 10:00 до 11:00 (летом), либо с 11:00 до 12:00 (зимой). События, зарегистрированные до этого времени, будут отражены в файле за предыдущие сутки. Таким образом, даты в метках времени и в именах файлов могут различаться. Всегда руководствуйтесь временными метками событий в файле, а не временем отправки или названием файла. - Отчет о передаче данных для главного и сопутствующего креативов
Файлы передачи данных содержат информацию о показах главных и сопутствующих креативов, однако Инструмент запросов засчитывает только показы для набора таких креативов (а не для каждого отдельно), за исключением случаев, когда информация разделяется между главным и сопутствующим креативами.
В полеIsCompanionпоказам сопутствующих объявлений соответствует значение TRUE. ПолеCreativeIdсодержит идентификаторы отдельных главных и сопутствующих креативов, а не наборов креативов. Идентификаторы наборов, позволяющие связать показы главных и сопутствующих креативов, в файлах передачи данных не указываются. - Расхождения в данных отчетов Менеджера рекламы
Файлы, созданные с помощью Менеджера рекламы и API, регулярно проверяются на наличие информации о недействительном трафике или спаме, а после ее удаления размещаются заново. Поскольку эта процедура проводится в разное время, в файлах может быть указано чуть большее количество показов, кликов и т. д. Обычно расхождения не превышают 1 %.Значение в файлах передачи данных
CodeServesможет быть выше, чем показатель "Количество передач кода" в отчетах Менеджера рекламы. Это связано с тем, что в файлах передачи данных передача кода регистрируется для каждого выполненного показа, а в отчетах – лишь для каждого запроса. Креативы некоторых форматов, например текстовые объявления Google Рекламы, могут предусматривать несколько показов по одному запросу. Чтобы найти подходящие уникальные показы для сравнения, сгруппируйте файлы передачи данных по значениям полейKeyPart.
Преимущества и недостатки форматов CSV и Parquet
| CSV (значения, разделенные запятыми) | Parquet (столбцовое хранение) | |
|---|---|---|
| Возможность чтения человеком и работы с файлом | Высокая степень человекочитаемости. Файл можно открыть и изменять с помощью обычных текстовых редакторов и ПО для работы с таблицами. | Для просмотра и редактирования требуется специальное ПО. Может быть неудобен в работе для пользователей без технической подготовки. |
| Универсальность и совместимость | Поддерживается практически всеми инструментами для анализа и обработки данных. | Для полной совместимости могут потребоваться дополнительные библиотеки или ПО, особенно при работе с системами устаревших версий. |
| Простота и удобство использования | Простая структура, удобство освоения и использования, особенно при обработке небольших наборов данных и выполнении оперативных аналитических задач. | Может вызвать трудности в начале работы, особенно у пользователей, не знакомых со столбцовым хранением. |
| Производительность и эффективность | При работе с крупными наборами данных могут возникать задержки, связанные со строковым хранением и отсутствием сжатия. | Высокая производительность при обработке и анализе больших объемов данных благодаря столбцовому хранению и эффективным методам сжатия. |
| Эффективность хранения | Невысокая эффективность из-за отсутствия встроенных механизмов сжатия и вероятности наличия ненужных данных. | Высокая эффективность благодаря столбцовому хранению и современным алгоритмам сжатия, которые позволяют снижать издержки, связанные с хранением. Файлы Parquet могут быть на 50–75 % меньше, чем файлы CSV, особенно в случае с крупными наборами данных. |
Если вы используете файлы передачи данных в формате CSV, свяжитесь с менеджером аккаунта, чтобы получить доступ к Parquet.
Как скачать образец файла
Чтобы посмотреть, как будут выглядеть данные и поля в отчете о передаче данных, скачайте образец файла в формате CSV или Parquet.
| Тип события | Название и тип файла | Содержание | Образец |
|---|---|---|---|
| Объединяемая ставка | NetworkBackfillBidsJoinable |
Информация о ставках. Этот файл можно объединить с другими файлами передачи данных. Один раз в час. |
|
| Передача кода | NetworkCodeServes |
Все ответы от Менеджера рекламы вне зависимости от того, были ли они скачаны. Два раза в час. Примечание. Файлы Request и CodeServe включаются в файл Impression без дополнительной платы. |
|
| Показ | NetworkImpressions |
Данные о скачанных показах. Два раза в час. |
|
| Запрос | NetworkRequests |
Все запросы объявлений, полученные Менеджером рекламы. При этом не учитывается, привели ли они к показу рекламы. Два раза в час. Примечание. Файлы Request и CodeServe включаются в файл Impression без дополнительной платы. |
|
| Active View | NetworkActiveViews |
Информация о показах Менеджера рекламы, данные о которых можно получать с помощью Active View. Два раза в час. |
|
| Ставка | NetworkBackfillBids (бета) |
Данные о ставках на аукционе из Авторизованных покупателей и Open Bidding. Один раз в час. |
|
| Клик | NetworkClicks |
Данные о кликах. Два раза в час. |
|
| Минимальная выигрышная ставка | NetworkMinimumBidToWin (бета) |
Информация о минимальной ставке, которую должны были предложить покупатели, чтобы выиграть на аукционе, если в нем участвует хотя бы одна остаточная позиция. Один раз в час. |
|
| Конверсия, связанная с объявлением Rich Media | NetworkRichMediaConversions |
Данные о событиях Креативной студии, в том числе о стандартных и специальных действиях (лайк, воспроизведение и приостановка), продолжительности действий и многое другое. Два раза в час. |
|
| Конверсия, связанная с видеообъявлением | NetworkVideoConversions |
Данные о событиях видео, в том числе действия (лайк, воспроизведение и приостановка), идентификаторы Content ID, позиция в пакете и не только. Ознакомьтесь с информацией обо всех событиях видеорекламы. Два раза в час. |
Как отправляются файлы
Файлы передачи данных отправляются в сегменты хранилища Менеджера рекламы каждый час. Рекомендуется проверять обновления с определенной периодичностью. Значительная часть отправленных данных становится доступной через 5–15 ч., однако при задержке событий эта процедура может занять до 8 дней. Менеджер рекламы не предоставляет сторонним серверам информацию о передаче данных.
В названиях файлов указан час начала событий в тихоокеанском часовом поясе (США), где переход на летнее время выполняется, но временные метки в самом файле соответствуют часовому поясу сети Менеджера рекламы (в котором летнее время может не использоваться). В результате иногда создаются пустые файлы или файлы с данными более чем за час в зависимости от того, как в подобных случаях соотносятся часовые пояса.
В процессе перехода на летнее и зимнее время предоставление данных по показам продолжается.
Названия файлов
В названиях файлов передачи данных используется следующий формат:
- CSV:
[Type]_[Network ID]_[YYYYMMDD]_[HH].gz. - Parquet: будет находиться в папке
[Type]_[Network ID]_[YYYYMMDD]_[HH]/, содержащей систематизированные файлы под названием[Type]_[Network ID]_[YYYYMMDD]_[HH]-[Partition Index]-of-[Total Number of Partitions].parquet.
YYYYMMDD– это год, месяц и число.HH– час начала в 24-часовом формате.Час, указанный в каждом имени файла (01, 02, 03), относится к тихоокеанскому времени, а собранная информация соответствует часовому поясу сети, который определяется по временным меткам в файле передачи данных. Не забывайте об этих различиях.
[Partition Index]– номер файла по отношению к общему количеству созданных файлов (разделов), начиная с нуля.[Total Number of Partitions]– количество файлов (разделов), которые были использованы для создания файла.
Файлы передачи данных при обработке запроса объявления
Чтобы узнать, какие типы файлов передачи данных связаны с тем или иным этапом обработки запроса объявления, изучите изображение ниже.
Работа с файлами отчетов о передаче данных
После того как вы активируете функцию передачи данных, файлы будут храниться в сегментах облачного хранилища Менеджера рекламы. Получить к ним доступ можно через интернет с помощью инструмента командной строки и через API. Подробнее…
Если отбирать файлы передачи данных по времени в их названиях, можно упустить из виду информацию в следующем файле из-за таких факторов, как переход на летнее время, запоздалый сбор данных и т. д. Вместо этого мы рекомендуем загрузить все файлы в отдельную систему (хранилище данных или систему запросов) и отобрать события на основе их временных меток.
Файлы передачи данных доступны в двух форматах: CSV и Parquet.
В качестве выходного формата для любого файла можно выбрать CSV, Parquet или оба варианта. Формат Parquet больше подходит для использования в хранилищах данных и передачи данных, а файлы CSV небольшого размера можно использовать в редакторах таблиц. Вот несколько примеров того, как можно использовать информацию из файлов передачи данных:
- систематизация данных о событиях и действиях на основе различных параметров (например, настроек объявлений);
- сопоставление пользователей с базой данных клиентов;
- отчеты о географическом положении и демографических данных пользователей.
Таблицы соответствия позволяют выполнять поиск идентификаторов по названиям и сопоставлять информацию о показе объявления из файлов передачи данных (например, о рекламном блоке или позиции) с предварительно заданными значениями из базы данных.
Локальное хранение файлов
Обычно каждое событие занимает от 25 до 35 байтов в сжатом файле. Таким образом, для 10 млн показов в сжатом файле CSV потребуется около 300 МБ дискового пространства. Файлы формата Parquet занимают ещё меньше пространства. Помните, что это приблизительное значение. Фактический размер файла может быть несколько больше. Также следует учитывать, что вам понадобится дополнительное пространство для распаковки и использования этих файлов.
Файлы передачи данных, созданные более 60 дней назад, удаляются из Менеджера рекламы. Если вы хотите хранить их более продолжительное время, переместите их на свой компьютер или в облачное хранилище, связанное с другим вашим аккаунтом Google Cloud Storage.
Что нужно знать о сервисе BigQuery Data Transfer
Как упростить обработку больших файлов передачи данных
Разработчики Google Code выпустили набор инструментов с открытым исходным кодом под названием CRUSH (Custom Reporting Utilities for Shell), который позволяет обрабатывать текстовые файлы с разделителями при помощи командной строки и сценариев командной оболочки. Инструменты CRUSH прошли все необходимые этапы разработки и тестирования. Наиболее эффективно они работают в операционных системах Linux и Unix. Поддержка CRUSH осуществляется сообществом разработчиков ПО с открытым исходным кодом.
Также можно использовать приложение DMX, разработанное компанией Syncsort.
