uepon日々の備忘録

ローカルLLMで新しいモデルやツールを試すたびに、毎回ベンチマークのやり方で悩んでいます あるときはLM Studioの表示値、あるときは体感、あるときはツール独自の数字。測るたびに条件が違うので、過去の自分の記録と比較できていません。モデルも量子化もコンテキストサイズもバラバラで、「前より速いのか遅いのか」す…