Big data platformSnowflakeイベントツールデータ分析データ分析基盤　

データマーケター必見！
DWH(データウェアハウス)移行の事例紹介！
「DWHをSnowflakeにマイグレーション(移行)した話」

2020年7月29日、Snowflake主催のオンラインイベントにちゅらデータ株式会社CTO菱沼 雄太が登壇しました。クライアントが既存で使われていたDWH（データウェアハウス）を「Snowflake」へ移行した事例をご紹介させていただきました。

<イベント内容>

  • ●オープニングトーク
  • ●「DWHをSnowflakeへマイグレーション（移行）した話」　
  • ●Snowflake様コンテンツ　
  • ●Q＆A

 

<登壇者情報>
氏名：菱沼 雄太
所属：ちゅらデータ株式会社 CTO  (Chief Technology Officer) 　
プロフィール：
金融〜エンタメ系までの幅広いビジネス領域、オンプレミス時代〜コンテナ時代までの開発・インフラ系技術領域を経験。直近ではゲーム開発会社でのCTOを経験、その後2019年より、ちゅらデータ株式会社に入社、データ基盤構築などを主に担当し、CTOに至る。

氏名：KT 氏
所属：Snowflake株式会社
プロフィール：
データドリブン文化を推進する人々を育成するDATA Saber認定制度の創設者。約5年間Tableauでエバンジェリストとしてコミュニティを育成した後、現在はSnowflakeでCLOUD DATA PLATFORMをすべての組織に届け、データドリブン文化を支える土台づくりの支援をしています。

 

本レポートは、ちゅらデータ・菱沼 雄太の発表内容を主軸にお伝えします。

 


「DWH（データウェアハウス）をSnowflakeへマイグレーション（移行）した話」　ちゅらデータ　菱沼 雄太

DATUM STUDIO及びちゅらデータでは、さまざまな企業様のデータ分析基盤の構築や運用を受託しております。
今回はその中でDWH（データウェアハウス）をマイグレーション（移行）した際のお話をご紹介いたします。

DWHのマイグレーション（移行）に至った理由

■そもそもDWHとは？


DWHとは「Data Ware House」（データウェアハウス）の略で、直訳すると「データの倉庫」という意味になります。膨大なデータを格納するシステムで、データベースの利用形態の1つで、企業における、さまざまな業務の中で発生した、大量の情報を時系列と内容別に整理して保管する管理システム、データベースのことを指します。

■データベースとDWHの違い、 DWHの特徴


一般的なデータベースとDWHの違いは、どこにあるのでしょうか。

データベースでは、「現在進行中の状態」のデータを格納し、即座に取り出せるようにしてあることが多く、容量やその処理スピードの問題で、過去のデータは長期間蓄積されることはなく、半年～1年程度のスパンで更新されていきます。しかしDWHではデータが内容ごとに時系列で保存され、過去データも残ります。したがって、そのデータ量は非常に巨大なものとなりますが、全体のデータとして活用でき、それを処理できるよう作られています。

=DWHの特徴=
１．サブジェクト（内容）ごとに整理される
２．データが統合される
３．データが時系列で整理される
４．データが消えない

またこのDWHに格納された膨大なデータは、BIツールと呼ばれる、データを取り出して分析し、グラフなどに加工して可視化するツールによって利用されます。
この仕組みによって、企業内のデータを管理し、自在に取り出し、分析して有効活用することが可能になります。

■今回の事例における、クライアントの持つ課題


今回ご紹介するクライアントの持つ課題は以下になります。

・使用しているBI（ビジネスインテリジェンス）ツールの画面表示に長時間かかっていた。
　⇨利用ユーザからの改善要望・クレームにつながっていた。

・SQLでのデータ抽出の際、表示までに長時間かかっていた。
　⇨膨大なデータ集計は非現実的だった。

これらの課題に対して、アーキテクチャの変更を伴わない、チューニングや調整を実施していましたが、限界にきていました。
そこで、現状のアーキテクチャへの修正を最小限に抑えつつ、コスト最適な方法を模索しているところ、DWH（データウェアハウス）を見直す案がでてきました。

 

実際、マイグレーション（移行）ってどうするの？

■Snowflakeを採用した理由


数あるDWHの中で、今回採用したのはSnowflakeになります。
理由としては3点ありました。

・クエリを打ったときに、結果の反映が完了すると勝手に止まるため、
　コストの最適化が期待できる
・BIツールにおいてクエリなどの互換性高いため、修正が少なく済む
・Snowflake側も同じクラウドコンピューティングサービスを使用している

 

■移行に際して、実際に行ったこと


・Snowflake にステージを設定し、データをCOPYする
・BIツールのデータソースを差し替え

 

結果とSnowflakeについてまとめ

■移行した結果


課題はあったものの、移行した結果は以下の通り、期待以上でした。

・従前は3日分の条件で数10分かかっていたものが、
　Snowflakeにすると、14日分でも1分以内に画面に表示でるようになりました。
・試算すると、完全にリプラットフォームした場合でも従前のコストの半額以下になりました。（見積もりは案件によって異なります。）
・アーキテクチャ的にも変更なくSnowflakeに置き換えらました。

 

■Snowflakeが特に向いている環境


Snowflakeはデータ抽出が早く、コスト的にも最適ですが、やはり移行に関しては向いている向いてないなど、環境によってことなります。
特に向いている環境は以下になります。

・24時間使わない、オンデマンドに使えればいい環境
・データが大きくて、クエリが複雑なので、瞬間的にパワーがほしい環境
・ETLがすでに存在していて、バケットに読み込むべきデータが既にある環境
・BIなどがSnowflakeに互換性があるケース

今回のDWHの移行と改修は、結果的に人的負担と経済的負担とが軽減し、クライアントも大喜びでした。もし今回のような課題を持つ企業様は、一度基盤を見直すことを検討されてもいいかもしれません。

 

■Snowflakeについて


最後に今回移行したDWH（データウェアハウス）、Snowflakeについてご紹介します。
Snowflakeとは、2012年に創業されたSnowflake社が提供するクラウド向けのDWH製品です。Snowflake社は、グローバルで大きな評価を受けており、導入クライアントは3,400社を超え、2018年にはアメリカでユニコーン企業入りを果たした企業です。
2019年に日本法人が設立され、今後の我が国における事業展開に注目が集まっていて勢いのあるDWH（データウェアハウス）サービスです。

Snowflakeの詳細はこちらの記事を参照ください。
https://datumstudio.jp/blog/dwh_snowflake_report

このページをシェアする：


DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。

Contact

サービス・研修・アドバイザリーに関するお問い合わせはこちら

Explore Jobs

採用に関する情報はこちら

関連記事

前へ 次へ