AIうぉ--!(ai-wo-katsuyo-shitai !)
id:fanta_orange_grape
AIのtransformerの特許の記事をチラッと見かけたので、読む前に予想してみる。
その前に、、、、 時期がおかしくないか。。。 内容を想像。。。 ①(細かいのから)位置情報がわかるようにした ②エンコーダ側、デコーダ側ともに、複数の層にした ③エンコーダ側を学習し、エンコーダ+デコーダ側を学習する ④まず、self-attentionみたいな層がある ⑤情報のつながり方、、、resnetみたいな(直接と処理後…