きしだのHatena

30BくらいまでのLLMはRTX 4060 Ti 16GBを使っていろいろ試すわけですが、ブラウザが4GBくらいGPUを使ったりしていて結構こまりものでした。 で、年末にふとRTX 3050を買っていて、LLM読み込みであふれた分が3050にまわるようにしていました。 VRAMちょい足しにRTX 3050 6GBを追加してみる - きしだのHatena けど、よく考え…