Snowflake Summit 2025 最速レポート3日目④
What’s New: Scaling Data Engineering Pipelines with SQL and Python

DATUM STUDIOの志田です。
Snowflake Summit 2025も3日目となりました。今日のサンフランシスコは日中は暑く、風が強い1日となりました。
本日も多くのWhat’s Newセッションがありましたが、その中からScaling Data Engineering Pipelines with SQL and Pythonというセッションについてご紹介します。

概要

Snowflake Summit 2025では、「Build the future of AI and apps.」というサブタイトルが掲げられており、多くのAI関連機能が注目を集めています。このAI活用の時代、データエンジニアリングがどのような立ち位置でどのように作用し、そのためにどのような新機能が用意されているのかを知ることができます。

内容

DBT PROJECTS SELF-SERVICE TRANSFORMATIONS WITHIN SNOWFLAKE

本セッションで最も熱いトピックだったと思います。2日目のキーノートでも言及された、dbt ProjectをSnowflake上で扱う新機能についての紹介です。

dbt開発に必要な以下の要素を兼ね備え、昨日のレポートにてご紹介したSnowflake Workspacesに統合される形でリリースされるようです。

• ・BUILD
  • ・dbt自体はSnowflakeによってフルマネージドで管理され、開発者はdbt開発のみに注力できます

• ・TEST
  • ・dbt testを実行することができ、dbtモデルの検証が可能です

• ・DEPROY
  • ・dbt runをWorkspacesで管理される任意の環境に対し実行可能です

• ・SCHEDULE
  • ・dbt runの実行タイミングをWorkspaces上のGUIでスケジュール設定可能です

• ・MONITOR
  • ・dbt runやtestに対し、ログを記録し、監視し、デバッグ可能です

具体的な開発からデプロイまでの流れが、デモ形式で画面上で紹介されました。

DYNAMIC TABLES UPDATES

dbtに依らないETLパイプラインの実現方法として、SnowflakeにはDynamic Tablesが用意されています。
Dynamic Tablesはタスクやスケジューラが不要なシンプルなETLを提供し、特に増分処理においてパフォーマンスを発揮します。

PANDAS ON SNOWFLAKE UPDATES

2つのpandasについては公式ドキュメントをご覧ください。
https://docs.snowflake.com/en/developer-guide/snowpark/python/pandas-on-snowflake#how-pandas-on-snowflake-compares-to-native-pandas

SNOWPARK UPDATES

UPDATE TASKS

おわりに

本レポートでは、AI時代を支えるためのSnowflakeにおけるデータエンジニアリングの各要素のアップデートについてご紹介しました。
特にdbt Projects on Snowflakeは衝撃的で、Tasksの最近〜今後のアップデートとあわせて、既存のアーキテクチャや運用が大きく変わる可能性も感じました。GAが待ち遠しいですね。