【Pytorch】Transformerを実装する - Qiita

はじめにCNNやRNNと並んで重要なニューラルネットワークの仕組みとして、アテンション機構が挙げられます。アテンション機構は入力データのどこに注目するべきかを学習することが可能です。従来、アテ…