3 способа получить данные из SEOWORK в GBQ:

1. Данные хранятся и обрабатываются в проекте SEOWORK, вы получаете доступы для работы с ними, при этом ничего не платите.

В этом случае от вас ничего не требуется, кроме предоставления Gmail - почты, на которую мы отправим доступ к данным.

Плюсы: просто и бесплатно, доступ к работе с данными в BQ и экспорт в Data Studio

Минусы: прав недостаточно для подключения к данным из MS PBI, Tableau

2. Данные хранятся в проекте SEOWORK, при этом в вашем проекте создаются их виртуальные копии - вьюшки (очищенные от дублей, при необходимости с дополнительными рассчитанными метриками, агрегациями и т.п.). Таким образом вы видите все данные и работаете с ними из своего проекта, при этом за хранение данных вы не платите (т.к. реальные физические таблицы хранятся у нас).

Плюсы: не нужно платить за хранение данных, доступ к работе с данными в BQ и импорт в любую BI систему

Минусы: требует подготовительных действий: создание проекта, подключение платежной системы

3. Данные хранятся и обрабатываются в вашем проекте. Т.е. и реальные физические таблицы выгружаются изначально к вам в проект, и виртуальные обработанные таблицы - вьюшки также создаются на вашей стороне. В этом случае хранение и работа с данными оплачивается с вашей стороны. НО: это только со второго года использования, первый год работы в GBQ абсолютно бесплатный.

Плюсы: полный доступ к данным только у вас, любые манипуляции, импорт и т.д. - данными распоряжаетесь только вы.

Минусы: требует подготовительных действий, после окончания бесплатного периода требует оплаты

Аналитики SEOWORK оказывают помощь с созданием т.н. вьюшек вне зависимости от того, на чьей стороне это осуществляется. При этом создание стандартных вьюшек (без доп. агрегаций и рассчитываемых метрик) - бесплатно.

Порядок действий для получения данных из SW в BQ (для способов 2 и 3)

1. Создание проекта

Перед загрузкой каких-либо данных в Google BigQuery, необходимо создать проект и набор данных в нём. Для этого на главной странице BigQuery откройте окно выбора проекта.

В открывшемся окне можно выбрать один из существующих проектов или создать новый, нажав соответствующую кнопку в правом верхнем углу.

При создании нового проекта потребуется указать его название и родительскую локацию/организацию (по умолчанию: No organisation)

После того, как проект создан (или выбран из имеющихся) он будет отображен в вашей рабочей области на панели слева:

2. Подключение платежной системы

Google Big Query можно использовать и не подключая платежный аккаунт (в так называемом режиме песочницы). Однако, в таком режиме все хранимые в проекте данные будут удалены через 60 дней. Поэтому рекомендуем сразу же подключить к своему аккаунту платежную систему, чтобы не терять свои данные каждые два месяца, к тому же первый год использования Google предоставляет бесплатно и деньги начнут списываться только по его истечении.

О том, что у вас не подключена платежная система, Google сообщает на главной странице.

Для того, чтобы подключить платежную систему перейдите по кнопке “UPGRADE” и в открывшемся окне выберете “Creare billing account”.

Далее необходимо заполнить открывшуюся форму: указать личные данные + данные карты (первый год использования бесплатный, деньги начнут списываться только по его истечении!).

3. Создание набора данных

Данные, которые мы будем выгружать, должны храниться в одном наборе данных. Поэтому для начала его необходимо создать. Возвращаемся в нашу рабочую область, выбираем слева нужный проект и нажимаем “Create dataset”.

В открывшемся справа окне задаем название набора данных, убеждаемся, что срок удаления данных по умолчанию “Never” (если подключена платежная система), остальные поля оставляем по умолчанию и нажимаем “Create dataset”.

Набор данных создан. Его название также необходимо прислать нам вместе с json ключом.

Обращаем ваше внимание, что если набор данных будет создан ДО подключения платежной системы, то и после ее подключения его настройки останутся прежними - удаление данных через 60 дней. В этом случае набор данных придется удалять и создавать заново. Поэтому мы рекомендуем создавать набор данных только после подключения платежной системы.

Итак, на этом этапе всё готово для выгрузки данных из Seowork в ваш проект в BQ.

Для осуществления выгрузок необходимо передать нам:

  • json файл с секретным ключом к проекту
  • название набора данных, в котором будут храниться данные

4. Создание сервисного аккаунта и json - ключа (требуется только в случае выгрузки данных в ваш проект)

Для того, чтобы мы могли выгрузить данные в ваш проект, нам нужен доступ к нему - так называемый секретный ключ в виде json файла.

Но прежде чем получить такой файл, необходимо создать сервисный аккаунт. Для этого в меню слева переходим в раздел “IAM & Admin” -> “Service Accounts”

Ссылка: Сервисные аккаунты

На открывшейся странице отображаются все имеющиеся сервисные аккаунты (в случае нового аккаунта этот список будет пустым). Для создания нового сервисного аккаунта нажимаем на соответствующую кнопку вверху страницы:

Далее заполняем форму.

На первом шаге вводим название аккаунта (его ID сгенерируется автоматически) и описание для удобства. Нажимаем “Create” и переходим ко второму шагу.

На втором шаге выбираем роль для этого аккаунта. Для загрузки данных в проект будет достаточно роли “Editor”

На третьем шаге поля можно оставить пустыми. Поэтому просто нажимаем кнопку “Done” - сервисный аккаунт создан!

Далее необходимо создать json ключ. На странице сервисных аккаунтов выбираем только что созданный и переходим к управлению его ключами.

Создаем новый ключ:

В открывшемся окне выбираем формат JSON и нажимаем “Create”, после чего созданный json файл автоматически скачается на ваш компьютер.

Этот файл и нужно прислать нам для того, чтобы мы могли выгружать данные в ваш проект.

Предобработка сырых данных для дальнейшей работы (создание вьюшек)

После того, как мы выгрузим данные в ваш проект, в вашем наборе данных появятся таблицы. Это физические таблицы, реально хранящие в себе данные. Для удобства дальнейшей работы чаще всего к каждой из таблиц мы создаем виртуальную копию (так называемую вьюшку), в которой очищаем данные исходной таблицы от возможных дублей, при необходимости агрегируем, рассчитываем дополнительные метрики и т.д. Созданные для каждой таблицы вьюшки для удобства хранятся в отдельном наборе данных и дальнейшую работу рационально вести уже с ними.

Если вам потребуется помощь (будь то создание вьюшек или любые другие манипуляции с данными внутри BQ), необходимо будет предоставить права аналитику SW на ваш проект. Сделать это можно следующим образом:

1. Переходим в раздел "IAM & Admin".

2. Добавляем нового пользователя:

3. Вводим email и выбираем роль “BigQuery Admin”

Вы нашли ответ?