こんにちは、DATUM STUDIOの兒玉です。dbt Coalesce 2024の2日目のレポートです。
昨日はトレーニングとパートナー向けのセッションのみでしたが、今日から本格的にさまざまなセッションが始まりました！

Keynoteについて

まずはKeynoteからです。
Coalesce 2024の開会にあたり、dbt Labsの創設者でありCEOのTristan Handy氏が、dbt™の成長と業界への影響について語っていました。特に、dbt™がTransformのためのツールを超え、CatalogやObservability、Semantics、Orchestrationなどを含む「Data Control Plane」として機能していることを「One dbt」と、繰り返し強調していたのが印象的でした。

さらに、Coalesce前に公開されていた新機能についても、いくつか紹介がありました。

・AWS Athenaのサポート
Athenaのコネクターが公開され、dbt™から利用できるようになりました。

・IcebergのサポートとCross-platform dbt mesh
dbt cloudがIcebergテーブルをサポートしました。

これにより、異なるプラットフォーム上にあるプロジェクト同士でdbt meshを構成できるようになります！

詳しくはKeynoteと同日に公開されたこのブログ記事に記載されています。

・ビジュアルプログラミング
dbt cloudでは、モデルをGUI操作で作成できるローコード環境が提供されます。
ローコードで組み立てた操作がリアルタイムでSQL文に変換される点がいいですよね！（画像左側）

・dbt Copilot
dbt cloudに「Generate tests」、「Generate documentations」、「Generate semantic models」といった新機能が追加されました。名前のとおり、生成AIがモデルの内容に基づいてテストやドキュメント、セマンティックモデルを自動で作成します。

・Advanced CI
dbt cloudに接続されたGitリポジトリのCI実行において、モデルに対して発生した変更（列の追加や削除、型の変更など）が自動的にチェックされ、dbt cloudのUIやPRコメントから確認できるようになります。

・Auto Exposure
TableauなどのBIツールに対する参照を表現するExposureが、自動で作成できるようになりました。現在はTableauで利用可能ですが、PowerBIとの連携も近日中に公開予定とのことです。

・Data health tiles
Tableauダッシュボード上に、ELTパイプラインの状態を可視化するタイルを追加できるようになります。Auto ExposureとData health tilesにより、ダッシュボードの利用者はデータの遅延や不整合を確認でき、データエンジニアはどのダッシュボードでモデルが使用されているかをリネージを通じて把握できるようになるため、双方向での見通しが良くなりそうです。

ブレイクアウトセッションの紹介

Keynoteの後は、30分～1時間程度の枠でいくつかのセッションがBreakout形式で開催されました。セッション内容は「Data Control Plane」のコンセプトに基づき、さまざまな領域に広がっています。私が参加したセッションの例を挙げます。

・Make data analysis effortless for all with dbt Semantic Layer
セマンティックレイヤーの役割についての説明があり、セマンティックレイヤーの進化や今後の展望に関する解説が行われました。さらに、dbt cloudでの新機能やAIを活用したセマンティックモデル生成のデモもありました。

・Embracing complexity: A practical guide to scaling dbt in hypergrowth
ClickUp社のデータプラットフォームチームが、ClickUpの急成長を支えるためのデータチームの取り組みや、dbt™の活用方法について紹介しました。具体例として、SQLのスタイルガイドやPRプロセスのテンプレート整備、dbt™におけるテスト基準の設定、効率的なデータ処理を支えるdeferの導入など、具体的・実践的なアプローチが共有されました。
テンプレートの公開もありました。
リンク：https://gist.github.com/clickupclenon/08588e97ea52eb595636cb8075c55a49

・Scaling dbt: Balancing self-serve analytics and central governance
異なる企業のCTOやCEO、VPらがパネリストとなり、「分析者によるセルフサービスの自由な分析」と「データガバナンス」のバランスについてディスカッションしていました。エンジニアとアナリストの役割が曖昧になるのは、海外含めどの企業においても共通の悩みのようですね。

・Automating migration with AI: How to convert and validate a migration to dbt at scale
Lyft社の事例として、プロシージャーなどで構成されたレガシーデータパイプラインをdbt™に移行する際の取り組みや、LLMエージェントを使った自動移行に関する実践が紹介されました。

このように、密度の高いセッションが常に4本ほど同時進行で行われています。明日以降も、引き続き多くのセッションが予定されています！