LLama2の訓練可能な全層をQLoRAで学習する|Kan Hatakeyama

はじめに LLama2はMetaが23年7月に公開した、GPT-3に匹敵するレベルのオープンソース大規模言語モデル(LLM)です。 最近はFalcon 180bのような、より大きなモデルも出ていますが、デファクトスタンダードとして定着している感があります LLMに新たな情報を加える手法として、ファインチューニング、特にQLoRAが注目され…