TikTokデビューならぬ、tiktokenデビュー！ ChatGPT APIに送らずして入力トークン長が分かるんです
はじめに TikTokerじゃなくて、えぬえるぴーや1なnikkieです。 久しぶりのChatGPTネタです2。 ChatGPT（やLLM）ではトークンの長さに関心が向くことがあります。 そのトークンについて、OpenAI製のライブラリtiktokenの存在を知りました3。 素振りして分かったことをアウトプットします。 目次 はじめに 目次 tiktokenを知…
