vietstarwhiteのブログ

国産LLM「LLM-jp-4.1-8b-thinking」をRTX 4060 Ti 16GBのPCで動かした記録。LM Studioでは生成エラーになり、LLM-jp版llama.cppを自前ビルドして解決。White翁とソネちゃんの会話でたどる。