dbt Coalesce 最速レポート3日目-セッション編-

DATUM STUDIOの向井です。引き続き、dbt Coalesce3日目の各セッションの内容についてお届けします。

How we built a multi-agent dbt workflow (and crushed our backlog)

このセッションでは、AI Agentを活用した開発手法について紹介されました。
Sub agentとして以下の4つを定義しています。

1.Orchestrator
全体統括のために他のAgentを呼び出します。

2.Analyst
dbt showコマンドを利用して、データの調査を行います。
これは日本のdbtコミュニティオーガナイザーである瀧本さんも言及されていましたが、SQLがコンパイルされる際の精度劣化を避けているようです。
https://takimo.tokyo/2604aebf66ad8067a25ccd25e459da97

3.Architect
dbtのベストプラクティスに従って、パイプラインを構築します。

4.Analytics Engineer
dbtコマンドを実行し、デバッグやデータ調査を行います。
これらに加えて以下の2点を重要なポイントとして示していました。

1.コンテキストを充実させること
コーディング規則や設計規則などのドキュメントをできるだけ多く残す

2.タスクを分割すること
各Agentのタスク実行を最適化できるように、なるべく細かい粒度で依頼すること

Feature feast: Building a data buffet for models

このセッションは、dbtを含めたMLパイプラインの事例紹介です。

サプライチェーンに例える形で、feature storeのアーキテクチャが解説されました。

またfeature storeの条件として、管理のしやすさやデータとの紐付けができることを条件に挙げています。

feature storeとしてServiceNowが利用されているようです。実験管理については自前でアプリケーションを構築し、それを提供する形のようです。

feature storeの画面では、dbtのメタデータと紐づけることでfeatureが元データのどの列に影響しているかを可視化できます。

元データと特徴量の関係性を合わせて確認したい内容なので、よく考えられたシステムだと思いました。