DeepNet: Scaling Transformers to 1,000 Layers [1] は、深い Post-LN Transformer の学習が不安定になるのは学習初期のモデル更新が大きすぎるためであることを示し、残差接続に定数 をか...