Re:ゼロから始めるML生活

”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらまとめてみようと思います。