ローカルLLM自由帳

「ファインチューン用のデータには事前学習用データもミックスすべき」というポストがredditに上がっていました。投稿者はkobold.cppなどの開発にも関わっているkindacognizant (kalomaze)さんです。 投稿の要旨 言語モデルのファインチューンは基本的に「加算的」ではなく「破壊的」な側面を持つ最適化プロセスである。 …