メモリ不足でLLMが読み込めないときの対処策集

モデルの選び方 パラメータが小さいものを選ぶ パラメータとは強引に言えばLLMの語彙です。 語彙が多いLLMは話のレパートリーも表現も豊かです。 色々な話を聞かせてくれますが、大量のGPU RAMを必要とし、処理が遅いです。 語彙が少ないLLMは話のレパートリーも表現力も乏しいですが、その分、軽くて早いです。 モデルの…