Spark（Google Dataproc）からAWS S3にアクセスする方法
Spark（Google Dataproc）から、AWS S3にアクセスする方法です。 手順 Spark設定 下記のSpark・Haddopの設定をすると、SparkからAWS S3ファイルの読み書きができるようになります。 Sparkに下記AWS関連のjarファイルを読み込みます aws-java-sdk-bundle-xxxx.jar hadoop-aws-xxxx.jar Hadoopの設定ファイル「core-site.xml…
