いかおくら自習室のブログ

thumpx3.hatenablog.jp 続き。 自然言語処理の前処理 用語 解説 形態素解析 文章を形態素（文章の最小単位）に分割し、それぞれの品詞と活用体系を決定する処理。MeCAb,kuromojiのツールがある。 ストップワードの除去 情報の少ない冠詞、前置詞、代名詞、接続詞などの単語を除くこと トークン化 文章を適切な単語に分割す…