オムライスの備忘録

Transformer #まとめ編 yhayato1320.hatenablog.com XLNet とは BERT のような、Auto Encoder Model は、文章全体から学習するような (MLM + Attention など) 事前学習を行うことで、 Auto Regression Model のような Language Model (言語モデル) の事前学習より優れたパフォーマンスを示した. しかし、このような事前学…