日本語LUKEで単語境界を扱えるようにトークナイザを変更したモデルを公開します

株式会社ユーザベースでUB Researchを担当している高山です。 ユーザベースでは2023年7月からStudio Ousiaさんと業務提携して、LLMの研究開発に取り組んでいます。 www.uzabase.com 今回はその続報として、Studio Ousiaさんと共同でおこなった日本語LUKEモデルを改変したモデルについて書いていきます。 背景 ユーザベース…