GoogleColobで小規模言語モデル(0.15B)の事前学習モデルを作ってみる

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード はじめに LLMの精度検証を各モデルをやっていく中で自分でも事前学…