Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送
こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前準備(コネクタ) 事前準備(GCPのクレデンシャルの取得) 事前準備(…
