AMD Radeon PRO W6800を使ってローカルLLM環境を構築する
自作PCのGPUを使って大規模言語モデル（LLM）を動かしています。 ローカル環境でLLMを動かす場合、モデルのデータサイズによってはGPUのVRAMが不足することがあります。そこで、VRAMの搭載量が多いGPUに交換しました。 用意したもの AMD Radeon PRO W6800 Western Digital Blue SN580 2TB 交換した様子 M.2 NVMe SSDの交換…
