大規模な日本語の事前学習言語モデルSarashina1・2の公開

概要 SB Intuitionsの清野舜,李凌寒,高瀬翔です。 弊社では高品質な日本語大規模言語モデルの構築に取り組んでいます。 大規模言語モデルの構築は理論的にも経験的にもまだまだ発展途上の領域であり,学術界・産業界の日本語大規模言語モデルの研究開発促進のために,7B,13B,65BパラメータのモデルからなるSarashina1…