【ローカルLLM】llama.cppの量子化バリエーションを整理する|Baku

【追記】 この記事の内容はかなり古くなっているのでご注意ください。ブログに新しい記事(https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547)も上げてます。 「llama.cpp」はMacBookなどでLlamaベースの大規模言語モデルを動かすことを目標とするアプリケーション。一応CPUのみでも実行でき、GPUの非力な環…