サーバーワークスエンジニアブログ
id:swx-satoshi-moriyama
AWS Glue Spark ジョブの並列処理数を検証して理解してみた
はじめに この記事で学べること 前提知識・条件 AWS Glue のワーカーとは Driver Executor 並列処理の仕組み ワーカータイプ別スペック(今回の検証で使用するもの) やってみた 検証用スクリプト 環境構築 NumberOfWorkers=2、G.1X の場合 NumberOfWorkers=3、G.1X の場合 NumberOfWorkers=2、G.2X の場合 検証結果のまと…