【DeepSpeed】DiffusersでDreamBoothを試す(DeepSpeedでどこまでVRAM消費を減らせるか)

はじめに 環境構築 実験と結果 text encoderのファインチューニングなし no gradient_checkpointing, no set_grads_to_none with gradient_checkpointing, no set_grads_to_none no gradient_checkpointing, with set_grads_to_none with gradient_checkpointing, with set_grads_to_none text encoderのファインチューニ…