ローカル で Llama 2 + LangChain の RetrievalQA を試す|npaka

ローカルで「Llama 2 + LangChain」の RetrievalQA を試したのでまとめました。 ・macOS 13.4.1 ・Python 3.10.10 1. 使用モデル 今回は、「llama-2-7b-chat.ggmlv3.q4_0.bin」(4bit量子化GGML)と埋め込みモデル「multilingual-e5-large」を使います。 TheBloke/Llama-2-7B-Chat-GGML · Hugging Face We’re on …