「Llama.cpp」+「cuBLAS」による「Llama 2」の高速実行を試したのでまとめました。 ・Windows 11 1. Llama.cpp のオプション 前回、「Llama.cpp」で「Llama 2」をCPUのみで動作させましたが、今回はGPUで速化実行します。 「Llama.cpp」にはCPUのみ以外にも、GPUを使用した高速実行のオプションも存在します。 …