【Diffusers】FLUX.1-devを「VRAM 12GB以内」でかつ「高速」に動かす方法
はじめに前回量子化について調べてみました。 touch-sp.hatenablog.com 今回、生成過程を分割することで「VRAM 12GB以内」かつ「高速」に動かすことができました。結果RTX 4090 (VRAM 24GB)で測定しています。 torch.cuda.max_memory_allocated: 6.58 GB torch.cuda.max_memory_allocated: 6.76 GB GPU 0 - Used memory: 9…
