1.15GBで8Bモデルが動く「1-bit Bonsai」をMacで試した|kazu@生成AI×教育 / 谷 一徳 | AI Academy
こんにちは、kazuです。 先日PrismMLから発表された1-bit Bonsai 8Bを自分のMac(M3 Pro / 36GB)で試してみました。 結論から言うと、たった1.15GBのモデルで生成速度65tok/sec。通常の8Bモデル(16GB前後)の1/14のサイズとは思えない速さです。 この記事では、Macへの導入手順と実際の使用感を紹介します。 1-bit B…