データマーケター必見!
DWH(データウェアハウス)移行の事例紹介!
「DWHをSnowflakeにマイグレーション(移行)した話」

2020年7月29日、Snowflake主催のオンラインイベントにちゅらデータ株式会社CTO菱沼 雄太が登壇しました。クライアントが既存で使われていたDWH(データウェアハウス)を「Snowflake」へ移行した事例をご紹介させていただきました。

<イベント内容>

  • ●オープニングトーク
  • ●「DWHをSnowflakeへマイグレーション(移行)した話」 
  • ●Snowflake様コンテンツ 
  • ●Q&A

 

<登壇者情報>
氏名:菱沼 雄太
所属:ちゅらデータ株式会社 CTO  (Chief Technology Officer)  
プロフィール:
金融〜エンタメ系までの幅広いビジネス領域、オンプレミス時代〜コンテナ時代までの開発・インフラ系技術領域を経験。直近ではゲーム開発会社でのCTOを経験、その後2019年より、ちゅらデータ株式会社に入社、データ基盤構築などを主に担当し、CTOに至る。

氏名:KT 氏
所属:Snowflake株式会社
プロフィール:
データドリブン文化を推進する人々を育成するDATA Saber認定制度の創設者。約5年間Tableauでエバンジェリストとしてコミュニティを育成した後、現在はSnowflakeでCLOUD DATA PLATFORMをすべての組織に届け、データドリブン文化を支える土台づくりの支援をしています。

 

本レポートは、ちゅらデータ・菱沼 雄太の発表内容を主軸にお伝えします。

 


「DWH(データウェアハウス)をSnowflakeへマイグレーション(移行)した話」 ちゅらデータ 菱沼 雄太

DATUM STUDIO及びちゅらデータでは、さまざまな企業様のデータ分析基盤の構築や運用を受託しております。
今回はその中でDWH(データウェアハウス)をマイグレーション(移行)した際のお話をご紹介いたします。

DWHのマイグレーション(移行)に至った理由

■そもそもDWHとは?


DWHとは「Data Ware House」(データウェアハウス)の略で、直訳すると「データの倉庫」という意味になります。膨大なデータを格納するシステムで、データベースの利用形態の1つで、企業における、さまざまな業務の中で発生した、大量の情報を時系列と内容別に整理して保管する管理システム、データベースのことを指します。

■データベースとDWHの違い、 DWHの特徴


一般的なデータベースとDWHの違いは、どこにあるのでしょうか。

データベースでは、「現在進行中の状態」のデータを格納し、即座に取り出せるようにしてあることが多く、容量やその処理スピードの問題で、過去のデータは長期間蓄積されることはなく、半年~1年程度のスパンで更新されていきます。しかしDWHではデータが内容ごとに時系列で保存され、過去データも残ります。したがって、そのデータ量は非常に巨大なものとなりますが、全体のデータとして活用でき、それを処理できるよう作られています。

=DWHの特徴=
1.サブジェクト(内容)ごとに整理される
2.データが統合される
3.データが時系列で整理される
4.データが消えない

またこのDWHに格納された膨大なデータは、BIツールと呼ばれる、データを取り出して分析し、グラフなどに加工して可視化するツールによって利用されます。
この仕組みによって、企業内のデータを管理し、自在に取り出し、分析して有効活用することが可能になります。

■今回の事例における、クライアントの持つ課題


今回ご紹介するクライアントの持つ課題は以下になります。

・使用しているBI(ビジネスインテリジェンス)ツールの画面表示に長時間かかっていた。
 ⇨利用ユーザからの改善要望・クレームにつながっていた。

・SQLでのデータ抽出の際、表示までに長時間かかっていた。
 ⇨膨大なデータ集計は非現実的だった。

これらの課題に対して、アーキテクチャの変更を伴わない、チューニングや調整を実施していましたが、限界にきていました。
そこで、現状のアーキテクチャへの修正を最小限に抑えつつ、コスト最適な方法を模索しているところ、DWH(データウェアハウス)を見直す案がでてきました。

 

実際、マイグレーション(移行)ってどうするの?

Snowflakeを採用した理由


数あるDWHの中で、今回採用したのはSnowflakeになります。
理由としては3点ありました。

・クエリを打ったときに、結果の反映が完了すると勝手に止まるため、
 コストの最適化が期待できる
・BIツールにおいてクエリなどの互換性高いため、修正が少なく済む
・Snowflake側も同じクラウドコンピューティングサービスを使用している

 

■移行に際して、実際に行ったこと


・Snowflake にステージを設定し、データをCOPYする
・BIツールのデータソースを差し替え

 

結果とSnowflakeについてまとめ

■移行した結果


課題はあったものの、移行した結果は以下の通り、期待以上でした。

・従前は3日分の条件で数10分かかっていたものが、
 Snowflakeにすると、14日分でも1分以内に画面に表示でるようになりました。
・試算すると、完全にリプラットフォームした場合でも従前のコストの半額以下になりました。(見積もりは案件によって異なります。)
・アーキテクチャ的にも変更なくSnowflakeに置き換えらました。

 

■Snowflakeが特に向いている環境


Snowflakeはデータ抽出が早く、コスト的にも最適ですが、やはり移行に関しては向いている向いてないなど、環境によってことなります。
特に向いている環境は以下になります。

・24時間使わない、オンデマンドに使えればいい環境
・データが大きくて、クエリが複雑なので、瞬間的にパワーがほしい環境
・ETLがすでに存在していて、バケットに読み込むべきデータが既にある環境
・BIなどがSnowflakeに互換性があるケース

今回のDWHの移行と改修は、結果的に人的負担と経済的負担とが軽減し、クライアントも大喜びでした。もし今回のような課題を持つ企業様は、一度基盤を見直すことを検討されてもいいかもしれません。

 

■Snowflakeについて


最後に今回移行したDWH(データウェアハウス)、Snoeflakeについてご紹介します。
Snowflakeとは、2012年に創業されたSnowflake社が提供するクラウド向けのDWH製品です。Snowflake社は、グローバルで大きな評価を受けており、導入クライアントは3,400社を超え、2018年にはアメリカでユニコーン企業入りを果たした企業です。
2019年に日本法人が設立され、今後の我が国における事業展開に注目が集まっていて勢いのあるDWH(データウェアハウス)サービスです。

Snowflakeの詳細はこちらの記事を参照ください。
https://datumstudio.jp/blog/dwh_snowflake_report



DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。

このページをシェアする: