yousanのメモ

はじめに 環境 準備 推論 モデルのロード 翻訳プロンプト まどマギプロンプト 使用リソース 4bit量子化版 追加ライブラリ モデルのロードの設定 推論 使用リソース はじめに 公開されたので、触っていきます rinnaはQwen-7Bと14Bの日本語継続事前学習モデル「Nekomata」シリーズを公開しました。 Nekomata 14B Instruction…