σReparam とは、Transformer のすべての線形層の重み行列を、「行列の大きさ」と、「行列の向き」に分離して訓練する再パラメータ化です。具体的には、各線形層の重み を、そのスペクトルノルム で割り、学習可能なスカラ $\gamm...