【5分講義・自然言語処理#3】事前学習と転移学習・そしてBERTも

本記事ではまず「事前学習モデル」を紹介し、自然言語処理における代表的な手法の1つであるBERTを詳しく解説していきます。後続の記事では最新のGPT-nモデルについても紹介していきます。 ■まず、事前学習とは ディープラーニングにおける事前学習モデル(pre-trained models)とは、大規模なデータセットを用いて訓練した…