BigQuery

BigQueryへの接続設定方法と、利用時の追加ノートについて説明します。

Codatumを使用してBigQueryに接続し、クエリの実行やデータの管理ができます。

設定方法

BigQuery側の作業

まず、BigQueryコンソールで以下の操作を行います:

• サービスアカウントとサービスアカウントキーを生成する

• 対象のプロジェクトに以下の役割または権限を付与する:

  • BigQuery Job User ロールまたは以下の権限:

    • bigquery.jobs.create

  • BigQuery Read Session User ロールまたは以下の権限:

    • bigquery.readsessions.create

    • bigquery.readsessions.getData

    • bigquery.readsessions.update

  • Codatum側の作業で必要になるので、対象のProject IDを控えておく

• 対象のデータセットに以下の役割または権限を付与する:

  • BigQuery Data Viewer ロールまたは以下の権限:

    • bigquery.tables.getData

    • bigquery.datasets.get

    • bigquery.tables.get

    • bigquery.tables.list

• (オプション) プロジェクトIDの入力を省略してデータセットテーブル情報を同期したい場合は、対象のプロジェクトに以下の権限を付与してください：

  • resourcemanager.projects.get

Codatum側の作業

最後に、Codatumで新しいConnectionを作成します。

1. ConnectionリストからNew connectionを選択

2. Display NameにConnection名を入力

3. アクセスレベルを選択

4. File uploadを使ってサービスアカウントキーをアップロード

5. Project IDを入力

   • 上記BigQuery側の作業で控えたProject IDを使用

6. Sync targetにデータセットを追加

INFORMATION_SCHEMAを使用して検索する

対象のプロジェクトにbigquery.admin権限を付与すると、同期していないデータセットのテーブルもINFORMATION_SCHEMAテーブルを使って検索できます。