[G5]データを知らずにインフラを組むな 〜RNA-Seq × Fargate 死亡日記〜

RNA-Seq(遺伝子発現解析)の前処理パイプラインをAWS上に構築しています。 Step Functions + Batch(Fargate)で自動化し、ローカル検証も通った。あとは展開するだけ...のはずでした。 しかし検証環境でFargateが2回死にました。1回目はストレージ、2回目はメモリ。どちらも扱うデータの特性を理解していれば防げた問題…