【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る|Baku
先日の記事に続き、ウェブUI用のPythonライブラリ「gradio」を使って、簡単なチャットボットを作ってみた記録。 今回はLlama系の言語モデルを使いたいので、モデルとgradioUIをつなぐPythonバインディングに「llama-cpp-python」を使用。これにより軽量な量子化モデル(GGUF)を扱える。 ひな形を探す Hugging Fa…