お知らせ

BigQueryに関するAdvent Calendarにグループ会社の ちゅらデータ CTO 菱沼が「SnowflakeからBigQueryにデータを移動する」をテーマに記事投稿しております。

 

BigQueryとSnowflakeでデータを移動において、Snowflake → BigQuery する内容となっております。
https://qiita.com/foursue/items/0ed9b309e3fcd3344b2d

全体の作業の流れは以下となっております。

  1. バケット準備:GCPでGCSにバケットとデータを置くパスを切っておきます
  2. ストレージ統合作成:Snowflakeでストレージ統合を作ります
  3. IAMロール作成:GCP上でIAMロールを作ってパーミッションを与えます
  4. IAMロール割当:Snowflakeのストレージ統合で作られたサービスアカウントにIAMロールを割り当てます
  5. Snowflakeからアンドロード:Snowflakeから COPY INTO <場所> を使って、GCSにデータをアンロードします
  6. BigQueryで読み込み:BigQueryでGCSの該当パスを外部テーブルに指定して、SELECTします
  7. 完了

詳細については、ぜひ本記事をご覧ください。

このページをシェアする: