Modern-BERT-Jaにパラメータ違いが公開されました。大きく差はでないんじゃないかと予測しつつやってみなきゃわからないということで挑戦してみました。30Mと310Mで学習させてみました。F1-Scoreは310Mが0.881, 30Mが0.873と0.008ポイント差。予測結果を見ると、各予測ラベルのスコアの差でも310Mが当然高くでています。語…

地平線まで行ってくる。

ModernBERT-Ja-310m/30mとColabでNERを試してみる。