Cloud Composerで動的な並列処理を実現するDynamic Task Mapping

はじめに こんにちは!テクノロジー戦略室データエンジニアのゲンシュンです! レバレジーズではCloud Composerを使ったデータのETLを行っています。事業数や扱うデータの種類が非常に多いので、大規模なデータを安定的に捌くことが求められます。オーケストレーションはCloud Composerで、具体的な処理はCloudRun JobsやC…