量子化時のモデル劣化を抑制する重要度行列（iMatrix; Importance Matrix）計算の話題です。最近はHuggingFaceにアップされるGGUFも多くがiMatrix版となっていますが、これらの量子化でよく使われているiMatrix計算用データセットは以下の2種類のようです。 wiki.train.raw：Wikitext（英語版）のトレーニング用データセ…

ローカルLLM自由帳

llama.cpp：iMatrix量子化は日本語性能にどう影響するか？