Gradioの`ChatInterface`こと始め その6:Llama-cpp-python編|Lucas

Terminalで、c4ai-command-r-plus-104b-iq2_xxs.gguff を走らせた記事を書きましたが、やっぱりインターフェースでやり取りをしたいと思って、Gradioを用いてみました。 まずは、llama-cpp-pythonを以下でアップデート。 pip install -U llama_cpp_python Successfully built llama_cpp_python Installing collected …