オムライスの備忘録

LoRA LLMの微調整において重みの差分のみを訓練対象とし、 差分重みを低ランク分解することで訓練パラメータ数を削減する方法であるLoRAを提案. 精度低下なしで時空間計算量とチェックポイントのサイズを削減できる. Fine Turning yhayato1320.hatenablog.com 参考 LoRA: Low-Rank Adaptation of Large Language Models [2…