Как настроить экспорт служебных журналов в BigQuery

Эта функция доступна в версиях Frontline Standard и Frontline Plus, Enterprise Standard и Enterprise Plus, Education Standard и Education Plus, Enterprise Essentials Plus. Сравнение версий

Чтобы экспортировать события журнала активности (отдельных действий, выполненных пользователем) и отчеты об использовании (сводные отчеты о приложении) в Google BigQuery, настройте конфигурацию BigQuery Export в консоли администратора Google.

О данных BigQuery и Reports API

Данные в наборе данных BigQuery отличаются от полученных из Reports API. В BigQuery содержится только неотфильтрованный набор данных. Для фильтрации можно использовать SQL, но поддерживаются не все параметры, доступные при использовании Reports API.

Вы можете отфильтровать данные, полученные с помощью Reports API, включив нужные параметры в запрос к API.

Пример. В домене два организационных подразделения – A и B. При помощи Reports API и функции BigQuery вы можете получить доступ ко всем событиям домена (включая A и B).

• Но Reports API позволяет получить события A, используя параметр orgUnitID в запросе к API.
• С помощью SQL и BigQuery нельзя отфильтровать события по организационному подразделению, так как отсутствует столбец, соответствующий параметру orgUnitID.

Важно!

• В BigQuery доступны статистические данные. Их также можно извлечь при помощи Reports API.
• Если вы отключите экспорт данных Google Workspace в BigQuery, новые данные не будут доступны в функции BigQuery Export. Однако существующие данные, как и прежде, будут доступны в Reports API.
• С помощью функции BigQuery Export можно получить не все данные отчетов о сервисах. Список поддерживаемых сервисов приведен далее.
• Примеры запросов приведены в статье Примеры запросов для журналов отчетов в BigQuery.

Как сохраняются данные

• Правила вступают в силу в течение часа. После этого в вашем наборе данных будут создаваться ежедневные таблицы (по стандартному тихоокеанскому времени).
• Данные сохраняются согласно правилам, заданным для журналов и отчетов. Подробнее о сроках хранения данных и задержках…
• Таблицы данных не удаляются автоматически. Чтобы удалить активный проект, удалите конфигурацию BigQuery Export.
• При экспорте с помощью функции BigQuery Export выполняется сбор данных о событиях в Google Workspace за предыдущий день. В результате будут показаны данные за дату, предшествующую дню экспорта.

Как настроить конфигурацию BigQuery Export

Прежде всего вам необходимо настроить проект BigQuery в консоли Google Cloud. Когда вы создадите проект, выполните следующие действия:

• Добавьте аккаунт администратора Google Workspace в качестве редактора проекта или назначьте ему аналогичную роль управления учетными данными и доступом (IAM).
• Добавьте сервисный аккаунт [email protected] в качестве редактора проекта (или используя аналогичную роль IAM). Это необходимо для записи журналов, обновления схемы и выполнения шага 6.

Инструкции приведены в статье Как настроить журналы отчетов в BigQuery.

1. Войдите в аккаунт консоль администратора Google с правами суперадминистратора.

   Эти шаги нельзя выполнить, если у вас нет прав суперадминистратора.

2. Нажмите на значок меню Отчеты > Интеграция данных.

   У вас должны быть права администратора с доступом к отчетам.

   Администраторы Education: выберите ОтчетыЭкспорт в BigQuery, чтобы открыть страницу Интеграция данных.

3. Наведите указатель мыши на карточку BigQuery Export и нажмите на значок "Изменить" .
4. Чтобы включить журналы BigQuery, установите флажок Разрешить экспорт данных Google Workspace в Google BigQuery.

5. (Необязательно) Чтобы экспортировать конфиденциальные параметры правил DLP, установите флажок Разрешить экспорт конфиденциальных данных из журналов с событиями, связанными с правилом DLP. Подробнее о том, как просматривать контент, который активирует правила DLP…

6. В разделе Идентификатор проекта BigQuery выберите проект, в котором нужно сохранять журналы. Выберите проект, для которого у [email protected] есть роль редактора или эквивалентная роль IAM. Если нужный проект не виден, настройте его в BigQuery. Подробные сведения изложены в кратком руководстве по использованию консоли Google Cloud.
7. В разделе Новый набор данных в проекте введите название набора данных для журналов. Названия должны быть уникальными в каждом проекте. Подробнее о создании наборов данных…
8. Нажмите Сохранить.
   Примечание. Если проект не удается сохранить, откройте консоль Google Cloud, удалите новый набор данных, а затем сохраните его заново в консоли администратора.

Набор данных создается на следующий день после запуска экспорта. Кроме аккаунта владельца проекта и аккаунтов пользователей с правами редактирования или просмотра, добавляется ещё один сервисный аккаунт [email protected] с правами редактора. Он нужен для записи журналов и обновления схемы.

Требования для экспорта данных журналов

Данные журналов экспортируются через insertAll API. При этом необходимо, чтобы для проекта BigQuery Export была включена оплата. В противном случае проект будет находиться в режиме изолированной среды, и данные журналов не будут экспортированы в ваш набор данных. Дополнительная информация приведена в разделе Ограничения.

Примечание. Экспорт отчетов об использовании по-прежнему включен для проектов в режиме изолированной среды.

Задержки при регистрации данных

В большинстве случаев события журнала активности становятся доступны в течение 10 минут после включения экспорта данных в BigQuery. При первоначальной настройке события журнала использования становятся доступны через 48 часов, а в остальных случаях – через 1–3 дня. Подробнее о сроках хранения данных и задержках…

Часто задаваемые вопросы

Статья по теме