近年話題のBERT・XLNetなどの言語処理における事前学習モデルについて取り扱いました。論文や著者に近しい出展の実装など、極力一次ソースを元に言語処理の基本的な内容も加筆しながらまとめた形になります。 【第2版追記】 第2版の刊行にあたって、第2章の記述の大幅の見直しを行いました。具体的にはself-attentionに関…