nikkie-ftnextの日記

Today(※最近) I Learned です 目次 目次 LLMの量子化で知っていたbitsandbytes python -m bitsandbytes Colabでの実行例 実装 通らない場合 終わりに LLMの量子化で知っていたbitsandbytes 過去の素振りから、bitsandbytesはtransformers.BitsAndBytesConfigで知っていました。 LLMをロードする際のquantization_configに…