1. 歴史的背景 2017年に発表された論文「Attention Is All You Need」により、Transformerと呼ばれる新しいニューラルネットワーク構造が提案されました ([1706.03762] Attention Is All You Need) Transformerは、従来主流であった再帰型ニューラルネットワーク（RNN）や長短期記憶（LSTM）とは異なり、系列データの処理…