技術メモ集
id:t_nkb
ローカルLLM マルチGPUの生成速度への影響を評価する
概要 以下の記事にて、GPU2枚で40GBのVRAMを搭載したPCを構築しましたが、GPU1枚から2枚に分散することによってどれほど速度が落ちるのかを評価してみました。結論としては許容範囲内の速度低下だったので一安心。詳細は下をご確認ください。 モデル一つでの評価なので厳密性を求めると微妙ですが、ある程度の傾向はつかめ…