仮想化通信

ローカルLLMといえば、OllamaとかLM Studioがよくツールとして挙げられます。 どちらも普段使っているツールです。 最近、vLLMというのがあるのを知りました。 vllm.ai そこで早速使ってみようと、まずはCPU版で動かしてみることにしました。 CPU版のvLLMはCPUの世代や基本的なハードウェア性能が足を思いっきり引っ張り、…