KoichiYasuokaさんからHatena Blogにコメントを頂きました。tokenizerに工夫をしては？というものでした。「日本の首相」が「日本の首相」に分かち書きされています。これでは「日本」を取り出せない。つまり、今まで：日本の首相改善：日本の首相としたい。納得です。Yasuokaさん、ありがとうございます。サンプ…

地平線まで行ってくる。

Tokenizerを見直してmodernBERTでNERをColabでためしてみる。