dbtのpost_hookとBigQuery UDFでデータパイプラインの異常検知をする仕組みづくり

こんにちは、株式会社ミツモアでエンジニアをしている酒井です。 本記事では、dbtのpost_hook機能とBigQueryのUser-defined functions (UDF) in Pythonを組み合わせることで、データパイプライン内で自動的にSlack通知を送信する方法と簡単な使用例を紹介します。 この仕組みが解決する課題 データパイプラインを運用する…