CCCMKホールディングス TECH LABの Tech Blog
id:takahashii
llama.cpp各種モデル18パターンの速度比較(Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64)※おすすめモデル有り
はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデルは主に日本語対応モデルのリーダーボードである Nejumi-LLM-3か…