vietstarwhiteのブログ

16GBのGPUでQwen3.8-27Bが遅かった原因は、17GBの量子化版がVRAMに収まらずCPUにはみ出していたことでした。約10GBのUD-IQ3_XXSに替えて全層をGPUに載せ、約22 t/sで安定。ネットで見かけた「外部ドラフトモデル」の勘違いや、MTPを使わなかった理由、思考OFFの工夫まで、White翁とソネちゃんが会話形式で紹介します。