nikkie-ftnextの日記
id:nikkie-ftnext
Apple Silicon・CPUでOpenCALM(3B)を動かす
はじめに 「人が幸せになるように呪う」、nikkieです。 今週公開された日本語LLMを動かしてみた際の備忘録です。 目次 はじめに 目次 サイバーエージェント発 OpenCALM 動作環境 Hugging Face Hubのサンプルコードを動かす CPUで動かすには、torch_dtype=torch.float32を指定する その他対処したこと 資料メモ モデルを指…