《日経Robo》自己注意機構:Self-Attention、画像生成や機械翻訳など多くの問題で最高精度

 ニューラルネットワークはあらかじめ設計されたネットワーク構造に従ってデータが入力から出力に向かって計算されながら伝搬していく。多くの問題では、事前知識を使って構造を設計することで性能を上げることができる。例えば、畳み込みニューラルネットワーク(CNN)は、画像は近い位置にある情報が関係があるという事…