BigQueryに関するAdvent Calendarにグループ会社の ちゅらデータ CTO 菱沼が「SnowflakeからBigQueryにデータを移動する」をテーマに記事投稿しております。
BigQueryとSnowflakeでデータを移動において、Snowflake => BigQuery する内容となっております。
https://qiita.com/foursue/items/0ed9b309e3fcd3344b2d
全体の作業の流れは以下となっております。
- バケット準備:GCPでGCSにバケットとデータを置くパスを切っておきます
- ストレージ統合作成:Snowflakeでストレージ統合を作ります
- IAMロール作成:GCP上でIAMロールを作ってパーミッションを与えます
- IAMロール割当:Snowflakeのストレージ統合で作られたサービスアカウントにIAMロールを割り当てます
- Snowflakeからアンドロード:Snowflakeから
COPY INTO <場所>
を使って、GCSにデータをアンロードします - BigQueryで読み込み:BigQueryでGCSの該当パスを外部テーブルに指定して、SELECTします
- 完了
詳細については、ぜひ本記事をご覧ください。