オムライスの備忘録

Index Index トークン / token 参考 書籍 Web サイト トークン / token トークン化 とは、文を適当な単位に分割すること. これを実現するツールをトークナイザ (tokenizer)と呼ぶ. 分割によって得られた文の構成要素を トークン (token)と呼ぶ. 自然言語処理 #分野一覧 yhayato1320.hatenablog.com 分割方法としては、以下…