Transformer は Pre-LN 構成が安定すると主張した研究 [1] [関連記事1] では、LayerNorm の入力に関するヤコビ行列のスペクトルノルムのオーダー $\|\mathbf{J}_{LN}(x)\|_{2}=\mathcal{O}(\sqrt{d} ...