超ビッグデータを用いてデジタル広告事業を展開するSupershipのデータ基盤構築にSnowflakeを活用

KDDIグループのSupership株式会社は、クライアント企業のデジタルマーケティングを支援する「マーケティングソリューション事業」と、データを用いたCX向上や新しいマネタイズ機会の創出を支援する「データソリューション事業」を展開する企業です。
同社は、正確なデータとデータ利活用の知見、国内屈指の広告配信技術をもとに、長きにわたりデジタル広告の配信プラットフォームを開発・提供しています。扱うデータは数PB（ペタバイト）にのぼり、その全てのデータがオンプレミス環境（Hadoop）で運用されていました。
増え続けるデータに対してサーバー台数を増やさなければならず、スケーラビリティの確保やデータガバナンスの強化に向け、運用を見直す局面にあり、データ活用・分析のための基盤をSnowflakeで構築しました。

本記事では、DATUM STUDIOが数PBの超ビッグデータを運用するデータ基盤をマイグレーションした事例をご紹介します。

課題

サーバーの導入・入れ替えや修理対応時の負荷

オンプレミス環境では、データ拡張のたびにサーバーの台数を増やす際の調達と運用コストが発生します。加えて近年の半導体不足の問題により、ハードの調達に係る正確なリードタイムを読むことが難しく、Supershipにおいてもサーバーの納品完了までの期間の暫定対応をどうするか、という課題がありました。

データ基盤のストレージ管理

データ基盤内のログが増え続けると、当然ながらストレージを圧迫します。Supershipでは事業を推進する上で、少ないトータルコストでなるべく大量のデータを保存したいと考えていましたが同時に、オンプレミス環境で大容量のストレージを用意する＝サーバーの台数を増やすことの限界を感じていました。どれだけのデータを、いつまで保存しておくべきなのか、量・期間の両側面において課題を抱えていました。

データガバナンスを担保するためのアクセシビリティのコントロール

デジタル広告配信というSupershipが展開する事業の特性もあり、データの中には個人に関連する情報など、取り扱いがセンシティブなものも多く含まれています。
そうした中でデータ基盤の運用には厳密かつ、柔軟なアクセス制御の仕組みが必要不可欠でした。同社では「アクセス権限をどのようにコントロールしていくか」を判断するにあたって、その時々の事業戦略や個人情報保護法等の規制に対応しながら実運用することの難しさに直面し、エンジニアだけでなくデータアナリストのオペレーション上の負荷が増え続けていました。

DATUM STUDIOの支援とSnowflake導入後の成果

DATUM STUDIOでは、Supershipの従前の運用やデータ構造に起因する課題を洗い出し、「理想とするアーキテクチャ」の設計方針を定めるため、要件定義と技術検証を実施しました。
そのうえで、DATUM STUDIOが有するSnowflakeにおけるケイパビリティを活かし、アーキテクチャの設計、DWHの本番環境構築、運用を開始するにあたってのフォローアップまでワンストップでサポートし、次のような成果で同社のビジネスに価値提供することができました。

的確なコスト管理とリソース削減を実現

クラウド型のデータ基盤はコンピューティングリソースの使用量に応じて課金される、従量課金型モデルが一般的です。使用量が把握しづらく高額課金を懸念される場合もSnowflakeであれば、仮想ウェアハウスのサイズを選択（クエリの処理やDML操作の実行に使用されるコンピューティングリソースの量を指定）することで、その利用時間に応じてコストが発生するため体感的にコストを把握できます。
また、仮想ウェアハウスのサイズを自由に選択できることでシステム管理者を必要とせず、コンピュータ・クラスター構築のための工数を削減することが可能です。キャパシティが限界に達していたデータセンター内のHadoopクラスターと比較して、データ生成時間を10分の1程度に短縮できたことで、人的リソースとコストの両面で効率化を実現しました。

厳密でありながら柔軟なアクセス制御

Supershipのように個人に関連するデータを多く扱う企業においては、データアクセスは特にセンシティブなものなので、厳密であることが第一です。Snowflakeはデータガバナンスを担保しながらも、SQLでクエリを実行してアクセスログを直接確認できるため、柔軟かつ、効率的です。なおかつSnowflakeは、それがデフォルトで搭載されているため少ない工数で実現することが可能です。データガバナンス強化とデータ活用の利便性の両立を実現した点は、非常に大きな成果と言えます。
実際に現場で運用しやすいことを考え、プロジェクトごとにデータアクセスができるよう実装・構築した結果、プロジェクトオーナーや利用目的、売上などのデータをわかりやすく可視化し、コスト削減すべきターゲットを的確に設定できるようになりました。

DATUM STUDIOのケイパビリティ

Snowflakeに関する知見・経験を有するメンバーが多く在籍しているDATUM STUDIOだからこそ、クライアントが抱える課題を的確に捉え、その解決と安定的なデータ運用を実現するためのアーキテクチャの設計・構築が可能です。
また、本プロジェクトにおいては、要件定義からマイグレーションまでのスケジュールが約4カ月間とタイトであったため、短期間で迅速かつ、確実に実行する必要がありましたが、その点においても高い評価をいただきました。