Snowflake 

DATA CLOUD SUMMIT 2024 最速レポート(3日目②)

こんにちは!喉が乾燥にやられ、声が出せなくなっている原戸です!3日目の各セッション情報についてレポートしていきたいと思います。

What’s New: AI Research and Development at Snowflake

今回のSUMMITで主役の1つともいえるCortexに関するセッションでした。エンタープライズのLLMはSQLの生成や他の言語でのコーディング、文字にリンクを入れてほしいなどの指定した要求を満たすものと紹介され、Snowflakeが開発したLLMモデル「Arctic」が非常に高い性能を持っていることも図示されました。

今後はエンタープライズのLLMであるために、金融やヘルスケアなど特定ドメインに特化したLLMモデルや検索、copilot機能を充実していく方向性のようです。

What’s New: Snowflake HORIZON for Data Governors and Stewards

昨日のPlatform KeynoteでもHORIZONへの言及はありましたが、主にデータ管理者の方向けにありがたい機能を中心に紹介されていました。データ品質やデータリネージに加え、MLモデルのリネージも、現在プライベートプレビュー中のようです。

また、個人情報等のマスキングを行う際に用いるタグについても、上流のモデルに付与しておくと、それを参照しているテーブルについてもタグを継承するという機能も紹介されました。逐一カラム等を確認する手間や見落としてしまうリスクも軽減できて、非常にありがたい機能です。こちらも現在プライベートプレビュー中です。

ドキュメント: https://www.snowflake.com/en/data-cloud/horizon/

What’s New: Python Data Pipelines

SnowflakeでPythonを使用するにあたって、何ができるのかをまとめているセッションになります。
まずはSnowparkについての振り返りから始まりました。

また、Snowparkに関するアップデート情報についてもまとめられていました。

さらには最近パブリックになったPythonノートブックや、昨日のPandas APIの紹介もされました。作成したスクリプトを定期的に実行するために、Serverless TasksやServerless Tasks Flexについての言及もありました。
最後にはまとめスライドが用意されていました。現時点でほとんどがパブリックになっているため、Pythonを使用したパイプラインをどんどん作成していきたいですね。

Best Practices for Dynamic Tables

Dynamic Tableに関するベストプラクティスについて語られたセッションになります。

公式ドキュメント(Best practices for dynamic tables)を参考に説明を受けたため、詳細はこちらを参考にしてください。

Dynamic Tableとはクエリを定期的に実行し、ベースオブジェクトに加えられた変更を使用してDynamic Tableをリフレッシュします。またKey Featureでも挙げられているように、6つの主な特徴があります。しれっと書いてありますが、PythonおよびREST APIももうじき利用可能になるようです。

またセッションでは、Development、Testing、Monitoring、Release、Performanceの5つの観点に沿って進められましたが、特に印象的だったのは、MonitoringとPerformanceでした。

MonitoringではDynamic Tableに関する情報を、INFORMATION_SCHEMA配下の3つのビューで参照することができます。

Performanceに関しては、Dynamic Tableに相性が良い構文と悪い構文があります。実際に使用する際には意識したいですね。

このページをシェアする:



DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。