Attentionとは、一言でいうと文章中のどの単語に注目すればよいのかを表すスコアです。 Attentionは、Query, Key, Valueという３つの要素に分かれて計算されます。 Queryとは、Inputデータであり、入力データの中で検索したいものを表します。Keyとは、検索すべき対象とQueryのち傘を図るために使用します。どれだけ似てい…