GreenBoost──12GBのGPUで32GBのAIモデルを動かす挑戦|情報の灯台

VRAMが足りない。ローカルAIを触ったことがある人なら、一度はぶつかる壁だ。その壁に、一人の開発者がカーネルモジュールで穴を開けた。 「買い替えろ」以外の選択肢 RTX 5070のVRAMは12GB。一方、ローカルで動かしたいLLMは膨らみ続けている。たとえばglm-4.7-flashのq8_0量子化モデルは31.8GB。どう計算しても収まら…