T-Fixup とは、Transformer の残差接続にくるまれた各ブロックのパラメータの初期値を層数 に応じて小さくすることで、LayerNorm と warmup を不要にする初期化手法です。2020年の ICML 2020 に採択された論文 Improvin...