LISA(Layerwise Importance Sampled AdamW)は、イリノイ大学と香港科技大学の共同研究によって提唱されたLoRA(Low Rank Adaptation)とフルファインチューニングに代替するファインチューニング手法です。メモリ消費がLoRAと同等に低く、なおかつパフォーマンスはフルパラメータのファインチューニングに匹敵もしくは上回る…