はじめにkarakuri-lm-70b-chatの4bit量子版ggufをローカルPCで動かしてみた時のメモです。json format出力が出来たり、少し複雑なsystem promptも効い…