文章翻訳など、NLP界を騒がせたTransformer(トランスフォーマー)の技術解説をします。話題となったGPT-3やBERTでは本技術が多分に影響されています。今回はソースコードの実装メインで技術解説を行います。