mesh-llm:余っているPCのGPUを束ねて巨大LLMを動かす分散推論の新アプローチ - Qiita

はじめに 巨大なLLMを動かすにはA100やH100のような高性能GPUが必要。これが今までの常識でした。 しかし「使っていないGPU」は身の回りに大量にあります。ゲーミングPCの日中の空き時間、会社のワークステーションの夜間、研究室のGPUクラスタの低い稼働率。こうした...