こんにちは、データエンジニア部の向井です。dbt coalesce最終日のレポートをお届けします。

Keynote: The impact of community

最終日のKeynoteは、コミュニティ活動の振り返りとなる内容でした。最初にdbt coreの新規機能のまとめ、次にcommunity slackでの貢献度やGitHubでのコミットをもとに活躍した人物、チームが表彰されるAwardが開催されました。

受賞者のインタビューでは、何もわからないところから始めた際の苦労話などもあり、互いに讃えあう姿は熱かったですね。

A look inside data teams managing 1,000+ dbt models

このセッションでは、model数が増加していく場合の認知負荷を下げる取り組みが紹介されていました。参加者も1,000以上のmodelを扱っている方が多いようでした。

最近のdbt explorerのアップデートで、割とカバーできそうな取り組みが多かったので、よりdbt cloudの需要は増していくように思いました。

Analytics as code meets infrastructure as code: Why analytics engineering and DevOps go hand-in-hand

このセッションでは、multi project構成を行う際のdbt cloudのterraform providerの紹介、デモが行われました。

terraform providerの他にも以下の2つのOSSが紹介されていました。

・https://github.com/dbt-labs/dbt-jobs-as-code

・https://github.com/dbt-labs/dbtcloud-terraforming(dbt cloud jobをコード管理する)

・ming（すでに存在するprojectをterraform化する）

Don’t panic: What to do when your data breaks

このセッションでは、インシデントが発生した際の対処方法についての発表がありました。

具体的には以下のような内容でした。

・すべてをインシデントとして扱うこと
小さなものでも対応を重ねることで、チームの経験となる

・responder（インシデントのエスカレーションを行う担当）を決めること
彼らが修正を行う必要はなく、一次切り分けを迅速に行うことで全体の対応スピードを上げる

・専用のコミュニティを設ける
インシデント通知を行うための専用チャネルを用意し、リーダーが関連チームへのエスカレーションを行う

・データを集積する
インシデント対応にかかった時間などをモニタリングし、特定のチームに負担が偏っていないかなどを注視する

おわりに

Keynoteの最後には、来年の開催予定が発表されました。来年もラスベガス開催のようです。

これからも、ますます成長が期待されるプロダクトなので、コミュニティもさらに発展していくことを願っています（願わくば日本人参加者も、もう少し増えてほしい！）。