はじめに 最近、論文を読んでいたところ、Gated Linear Unit(GLU)がちらほら利用されていました。 具体的には以下の論文になります。 Do Transformer Modifications Transfer Across Implementations ...