ローカルLLM自由帳
id:sc_bakushu
MergeKitによるMoEマージだけで日本語性能は上がるか?
前回の記事で、「LightChatAssistant 2x7B」が日本語チャットモデルのベンチマークでもかなり高いスコアを示すことを確認しました(スコア上はCohereの「Command-R 35B」に近い水準です)。 体感的にもベンチマーク的にも優れた日本語チャットモデルで、サイズが小さいことも考えるととても魅力的です。 sc-bakushu.hatena…