nikkie-ftnextの日記

はじめに 愛衣ちゃん大勝利〜！！ nikkieです。 世はまさに大規模言語モデル1時代！ ollamaを使ってLLMをもふもふ手元のPC（CPUのみ）でも動かしています2が、その秘密は量子化。 今回は、今まで利用するだけだった量子化を自分でもやってみます 目次 はじめに 目次 「非力なパソコンでもLLMを動かしたい!? llama.cppの紹…