YOUTRUST Tech Blog
id:satopi-utr
処理完了を1時間前倒し!データパイプラインのイベント駆動化
こんにちは!YOUTRUSTでデータエンジニアをしている小林(YOUTRUST)です。 以前のブログで、2025年11月時点でのデータ基盤のアーキテクチャについて紹介しました。 tech.youtrust.co.jp その中で、 S3からGCSへのデータ転送処理やdbtの処理が時間をトリガーとしているので、前の処理が終わってないのに次の処理が始まって…