Amazon Glue ジョブ内の処理で 出力先 Amazon Redshift 内にデータ重複が発生する現象の解決方法

はじめに こんにちは、山本です。 今回は、AWS Glue を使って Amazon S3 にあるデータを Amazon Redshift に取り込むと、ジョブを再実行するたびに同じレコードが重複して登録される現象の解決方法について当記事で紹介します。 AWS Glue は Amazon S3 などに保存されているデータを分析用の Amazon Redshift などに適宜デ…