こんにちは、秋山泉です。
9月26日、30日の両日、Microsoft品川オフィスにてAzure を利用したMachine Learning ハンズオンセミナーを開催してきました。

Azure を利用した当社のサービス詳細はこちらへどうぞ。
Azureを使うと簡単にDWHの構築ができてしまうのですが、今回は構築済のDWHからデータを前処理して、時系列予測を行うまでの欲張った内容でした。

今回の構成

前提でAzure Data Lake Storage Gen2にデータを貯めこんでAzure Data Exploreで前処理を実施、Azure ML Serviceで時系列予測を行う流れになっています。

BI出力をする場合だけのDWH、データマートの場合、各データソースからETLしてくるデータは安定的なので、出力サンプルを貰って、必要なデータを決めればそのままETL処理を実施すればよいのですが、AI構築、データマイニングを実施する場合は、どうしても探索的にデータを分析し、分析に必要なデータと、データの粒度を決定する必要があります。
そのため、今回はETL処理前のデータ前処理とAzure ML Serviceを用いた売上予測をご紹介した流れとなります。

なんで売上予測なの？

特定のお客様向けの個別ハンズオンセミナーの場合、お客様のデータをお預かりして、前処理して、分析処理をした上で、お客様の達成したい事を満たせるモデルを作成して、ハンズオントレーニングするのですが、『どのお客様であってもニーズがある事象』として『売上予測』を選定した次第です。

ほんと、売上ノルマに追われる日々…いかがお過ごしでしょう…

内容的な物

• データ分析プロセスの紹介
• Azure Data Explorer 基礎分析ハンズオン
• JupyterNoteBookの使い方紹介
• Azure ML service 時系列統計モデリングハンズオン
• Azure ML service 機械学習基礎ハンズオン
• Azureによる分析事例の紹介と質疑応答

…という盛沢山な内容を1日でぎゅぎゅっと詰め込んだ感じで実施いたしました。

Azure Data Explorerとは

Microsoft Israel生まれで、Azure管理用の内部ツールを商用に公開したバージョンで、Docusignでも使われていて、大手の石油会社や韓国のオンラインゲーム企業がこの基盤を利用してデータ分析をはじめました。

https://azure.microsoft.com/ja-jp/services/data-explorer/
このリンク先の情報だと今一つ何のツールか分からないのですが、弊社での使い方としては、お客様にデータをBlob Storageにご手配いただいた後の、データアセスメントと前処理に使っています。

Azure Data Explorerの特徴は以下にあるのかなと考えています。

• 爆速のクエリーサービスで、データをサーチする量に対する従量課金が発生しない。
• SQLでは苦手なクロス集計や、ある程度の可視化ができてしまうので、本格的な機械学習処理に入る前のデータ確認処理が高速に実施できる。

でもお高いんでしょ？

と思われるかもしれませんが、

利用する時間だけONにしてこまめに落とす事で1か月数千円～利用する事も不可能ではありません。

データの前処理用のツールとしてはSparkやHadoop等のサービスも提供されていますが、分析者がいちいち必要計算リソースを計算しなくても、さくさくデータの準備（前処理）を実行できる点が非常に大きなメリットになっています。

Azure ML serviceとは

利用者のレベルに合わせて、JupyterでもGUIでも機械学習のモデルが作れる優れものです。
今回はJupyterでハンズオントレーニングを実施しました。

https://azure.microsoft.com/ja-jp/services/machine-learning-service/

＜9月26日 happening＞
1. DB tech shocaseで来日していた韓国のAzureDataExplore担当の方と偶然鉢合わせて、飲みに行く
2. AzureDataExploreのトレーニング内容（世界でやってるやつ）と今回やった内容を紹介しあう（日本のコンテンツすげー！って話になったりしました）

データムスタジオでは、DWH構築時に『どんなデータを持ってきたらよいDWH・Mart』が作れるのか？というお題でデータアセスメントを実施するサービスを提供しています！

ご興味がありましたら是非お問合せ下さい！

この度、Microsoft主催のwebセミナーの開催が決まりました！

第1回 Azureで始めるビックデータ利活用ことはじめ　～入門編～
実施日: 11/27(水) 12:00- 13:00
所要時間 : 60分(講座45分 + QA対応15分)

概要
データ分析基盤の構築や運用をやりたいが、どこから手をつければ良いのか悩んでいる企業様も多いのではないでしょうか。
AI・機械学習では、分析用のデータを試行錯誤しながら作成し、定常運用に乗せる事がゴールとなるため、高度予測分析の実行を前提とした基盤設計が必要になります。
本講座では、価値のあるデータ収集や分析の考え方から始まり、Azureを用いたAI・機械学習用のデータマート構築基盤の概要についてご紹介いたします。

アジェンダ／タイムテーブル
– 会社紹介
– データ分析とは
– AI、機械学習向きDataLake、データマート設計のTips
– 次回予告(分析編)

第2回 Azureで始めるビックデータ利活用のことはじめ　～分析編～
実施日: 12/3(火) 12:00- 13:00
所要時間 : 60分(講座45分 + QA対応15分)

概要
前講座の入門編では、価値のあるデータ収集や分析の考え方から始まり、Azureを活用した、AI・予測分析のためのDWH/データマート構築基盤の概要についてご紹介いたしました。
機械学習、AIの構築においては、データの鮮度を保ったまま高速にデータ準備を繰り返し、学習、適応、評価、再度の元データ準備を繰り返す必要があります。Azureでは利用者の観点でお好みのツールを選択できるようにさまざまな種類のツール群を選択する事が可能です。
今回の講座では、Azureツール群の中から、AI・機械学習分析サービス会社である弊社の視点でお奨めのツール２つ。具体的には、
データ前処理ツールとして、「Azure Explore」、機械学習・AI実行ツールとして「AzureML」をご紹介いたします。
サンプルとして利用するデータは、全ての企業様で発生する『売上分析』『売上予測』を目的としたデータを利用いたします。

アジェンダ／タイムテーブル
-売上予測とは(5m)
-実際に利用するデータの説明(5m)
– ADXの紹介(10m)
– ADXで売上の集計を紹介する(5m)
– AzureMLの紹介(10m)
– AzureMLでの出力例紹介(5m)
– オフライン講座の予告　『売上をARIMAや機械学習で分析する方法』(5m)

講師情報
DATUM STUDIO株式会社 副社長 / ちゅらデータ株式会社 代表取締役社長 真嘉比 愛
本セミナーの申込先はこちら