Peri-LN: Revisiting Normalization Layer in the Transformer Architecture [1] は、各サブ層の入力と出力の両方に正規化を置く配置を Peri-LN と名付け、Post-LN・Pre-LN と比べて中間出...