Transformerを勉強した - 構造とコード|Yusuke Yonenaga

前回の記事 https://note.com/yusuke_yonenaga/n/n81d7be6df1f5 Transformerの構造 https://arxiv.org/pdf/1706.03762 Transformerの構造はこんな感じです。 左側が「self-attention」、右側が「source-target attention」と呼ばれます。 左側の役割 インプット(翻訳であれば翻訳元、質問/応答であれば質問文)の…