uepon日々の備忘録

以前の投稿では、少し古いゲーミングPCにUbuntuをインストールし、Dockerコンテナを使ってOllamaを起動し、ローカルLLM環境を構築しました。 PC上でローカルLLMを動作させていましたが、最近ではモデルサイズが小さく、よりコンパクトなLLMが登場しています。このようなモデルであれば、RaspberryPiのようなエッジデバイス…