CUBE SUGAR CONTAINER
id:momijiame
PySpark: 時刻と文字列を相互に変換する (DataFrame / Spark SQL)
今回は Apache Spark のインターフェースの一つである PySpark で時刻と文字列を相互に変換する方法について扱う。 PySpark にはいくつかの API があるけど、その中でも DataFrame と Spark SQL を使った方法について紹介する。 使った環境は次の通り。 $ pyspark --version Welcome to ____ __ / __/__ ___ _____/ /__ _\…