言語処理における事前学習(Pre-training)とBERT|言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #3

近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#1では深層学習による自然言語処理」の内容を要約、#2では対話(dialog)問題を取り扱う統合的なフレームワークのParlAIと具体的なタスクのご紹介を行いました。 #3では言語処理における事前学習(Pre-training)とBERT(Bidirection…