BioErrorLog Tech Blog

GPTにて、テキストのToken数を確認する方法をまとめます。 はじめに GPTのToken数を確認する GUIで確認する | Tokenizer Pythonで確認する | tiktoken 終わりに 参考 はじめに ChatGPTでも使われているGPTシリーズは、その入力テキストを'Token'という単位で処理しています。 OpenAI APIの課金はこのToken単位で行われるの…