ローカルLLM自由帳 (Local LLM Diary)

前回の記事の続きになります。LLMとリアルタイム音声チャットができる「Unmute」をさっそくローカルで動かしてみました。残念ながら日本語は非対応です。 github.com 必要なもの：16GB以上のVRAMとDocker Desktop 1BモデルのLLMなら16GB程度のNVIDIA GPUで動くと説明されているので、ひとまず手元のRTX 4080でトライします…