こんにちは！時差ボケに負け続けている、DATUM STUDIOデータエンジニアリング本部長の菱沼です！
今年のSnowflake SUMMIT 2023 でも、多くの新機能が発表されました。
この記事では、すぐに試せる新機能について気になった順に一気に紹介します！

Amazon S3-compatible StorageがついにGA！

昨年のSUMMITでオンプレミス統合の機能として華々しく登場し、周りが首を傾げるなか一人でキーノート中に盛り上がった苦い記憶を呼び覚ますS3互換ストレージの統合が、ついにGAされました！！！
日本語のドキュメントはまだありませんが、英語であればすでに公開されていますので、是非チャレンジしてみてください。

ドキュメント：https://docs.snowflake.com/en/user-guide/data-load-s3-compatible-storage

また、ちゅらデータのがくさんがすでにCloudflare R2との接続を検証していますので、詳細を確認されたい方は、ぜひこちらもご覧ください。

参考：https://zenn.dev/churadata/articles/c5de5bd35f9b05

Dynamic Tables

こちらも昨年のSUMMITでは、Materialized Tablesとしてアナウンスされた機能ですが、今ではDynamic Tablesとして名前を変え、ついにパブリックプレビューになりました！ ストリーミングデータの変換はこれまでViewやStreamを駆使して実装していましたが、それぞれに課題を抱えていました。
Dynamic Tablesの公開によって、ストリーミングデータの処理に選択肢が増え、より最適な選択肢を検討することができるようになるので嬉しいですね！
また、単純にデータ変換を継続的に実行する機能であるため、スケジュール実行を行っているTaskやAirflowなどの代替としても、検討の余地がありそうな気がしています。
また、Dynamic Tablesが公開されただけでなく、キーノートではSnowpipe Streamingも同時に発表され、こちらも大注目ですね！

参考：https://docs.snowflake.com/user-guide/dynamic-tables-about

ML-Powered Functions

昨年のSUMMITでも時系列予測などで言及があったMLを使った関数が、ついにパブリックプレビューとなりました！

現時点では、以下3つのカテゴリの関数が公開されています！

Forcast（予測）：https://docs.snowflake.com/en/user-guide/analysis-forecasting
Anomaly detection（異常検知）：https://docs.snowflake.com/en/user-guide/analysis-anomaly-detection
Contribution Explorer（寄与度探索）：https://docs.snowflake.com/en/user-guide/analysis-contribution-explorer

組み込みのML関数が増えることで、ダッシュボードにMLを組み込んだり、デモを行ったりがぱぱっとできて楽になりそうな反面、データサイエンティストが不在のチームで使い込んでしまうとデータの扱い方を誤り、ビジネス上の意思決定をする際のリスクが見え隠れして、かなり注意が必要になりそうです。

Snowpark ML: Machine Learning at Scale

昨年から一年かけて、プレビューからGAへと成長してきたSnowparkですが、ML系のライブラリが非対応で動作しなかったり、動作効率が悪いケースがあったりと、いくつか課題を抱えていました。
今回、そのようなML系の機能がSnowpark MLとして、PythonのML系ツールやSDKをまとめて使いやすいやすい形で提供されました！

参考：https://docs.snowflake.com/developer-guide/snowpark-ml/index
参考：https://docs.snowflake.com/developer-guide/snowpark-ml/snowpark-ml-modeling

詳細が気になった方は、検索には引っかからなくてわかりにくいですが、APIリファレンスやサンプルが下記のGoogleドライブでSnowflakeから共有されていますので、確認してみてください！

https://drive.google.com/drive/folders/1NFe9oUmhJEtx0XPoDkSJtP4eysNKrlcV

Native Applications Framework — Preview

昨年のSUMMITでもその一端が発表され、大変盛り上がりましたね！それがついにパブリックプレビューに登場しました！

開発者の皆さん！データアプリケーションでお金を稼ぐチャンスですよ！
これはSnowflakeを実行環境として、データを中心としたアプリケーションをやり取りするためのマーケットも含めた、エンドツーエンドなフレームワークです。

参考：https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about

SnowflakeではML強化やStreamlitとの統合も増えてきており、ここまで環境が揃ってしまうと、自作のモデルを関数などを通して配布することでお金を稼ぐような個人データサイエンティストも現れてくるのではないでしょうか？

Passing References for Tables, Views, Functions, and Queries to a Stored Procedure

地味ではあるものの便利な機能として、ストアドプロシージャへテーブルなどのオブジェクトの参照が渡せるようになりました。
これは、使い込んでる一部のチームにとってはかなり朗報なのではないでしょうか？
ストアドプロシージャは権限周りや参照制御がそれなりに複雑で、簡単なことをするために呪文のようなコードを要求する場合がありますが、これによってコードをシンプルに保つことが容易になりそうです！

参考：https://docs.snowflake.com/sql-reference/stored-procedures-calling-references

Custom Event Billing for Applications — Preview

マーケットでのデータアプリケーションの課金方法を柔軟にするCustom Event Billingがパブリックプレビューになりました！ これまでは、下記の2種類の課金方法から選ぶ形でした。
・月額課金
・クエリ課金
ここに、カスタムイベント課金が加わります！
作り方は自身のアプリケーションのプロシージャから、SYSTEM$CREATE_BILLING_EVENT関数を呼び出すなど、そこまで大変ではありませんので是非チャレンジしてみてください！

参考：https://other-docs.snowflake.com/en/collaboration/provider-listings-pricing-model#configure-your-listing-for-custom-event-billing
参考：https://docs.snowflake.com/en/developer-guide/native-apps/adding-custom-event-billing

Marketplace Capacity Drawdown Program — General Availability

最後は、自動で適用されるため多くのユーザーは意識することのない値下げプログラムです。
これはマーケットで購入したデータやアプリケーションの金額に応じて、値下げが適用されます。
詳細は下記のドキュメントを参照してみてください。

参考：https://other-docs.snowflake.com/en/collaboration/consumer-listings-paying#use-your-capacity-contract-to-pay-for-listings

おわりに

今年のSUMMITでも、たくさんの機能がパブリックプレビューやGAになりました！
LLMやAIの発表で少し目立たなくなっていますが、この記事で紹介した機能はすでに適用されており、すぐに試せるものです！ ぜひ遊んでみてください！

参考：https://community.snowflake.com/s/article/Summit-Announcements-June-27-2023

Snowflake SUMMIT 2023最速レポ２日目その①の記事はこちら