AttentionメカニズムとTransformer｜言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #5
近年猛威を振るっているDeepLearningの言語処理への応用についてまとめていければと思います。#4ではTransformerの大元の論文である「Attention Is All You Need」について読み進めるにあたっての前提知識についてまとめました。 #5では実際に中身を読み解いていければと思います。 [1706.03762] Attention Is All You Nee…
