JMDC TECH BLOG
id:jmdc-gjin
Glueジョブ開発の実践:PySpark + Jupyterによる大量データ変換と単体テスト
こんにちは。JMDCの開発本部 データウェアハウス開発部の金です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2025 16日目の記事です。 目次 はじめに 1. 背景・概要 前提条件と課題 2. 実装の工夫:パフォーマンスと品質の向上 (1) CSV → Parquet変換とファイルサ…