１．BERT:自然言語処理のための最先端の事前トレーニングまとめ ・自然言語処理は学習に使えるデータが少ない事が問題になっている ・言語構造を事前トレーニングさせる事によりデータ不足問題を大きく改善できる ・双方向型の事前トレーニングである