BoWと形態素解析｜実践的自然言語処理入門 #1 - Liberal Art’s diary

時折自然言語処理のセミナーを行うのですが、毎回同じことを話すのもなかなか退屈なので、基礎知識を公開情報の形式で簡単にまとめていければと思います。 #1では教師あり学習について簡単に復習した上で、言語処理の基本となるBoWと形態素解析について解説していきます。 以下目次になります。 1. 機械学習（教師あり学習）の復習 2. 自然言語の取り扱いとBoW(Bag of Words) 3. 形態素解析とJanome 4. まとめ 1. 自然言語処理に機械学習をどのように適用するか（概論） 自然言語処理について学ぶ前にまず機械学習について軽く復習します。 上記の記事でご説明したように機械学習において実務で用いやすい教師あり学習のアルゴリズムはXとyの組みから規則を作って新しいXに対して予測を行うアルゴリズムです。 上記の記事では距離の概念を利用して規則を作っていますが、規則の作り方は色々とありこれ