8月中旬、facebookが公開したfastTextの仕組みを軽くまとめる。 fastTextができること 自然言語処理の範囲は広く、ものによってできるものは異なる。fastTextは、word2vecのような単語をベクトルにしたり、文章をクラス分けする(予め決まったクラスに分類する(複数クラスに入ることは可能))ことができる。ベクトル化するモデルはCBOWとskip-gramが使われている。クラス分けを行うときは、学習データに、それぞれの文章がどのクラスにあるかという教師データが必要となる。 fastTextを試す githubに公開されているので、 でコンパイル(新しめのc++コンパイラが必要)。使い方の詳細はREADME.mdを参考にしてください。 サンプルとして複数のスクリプトが用意されている。しかし、巨大なデータがダウンロードされてしまうので、するなら、時間や十分なネットワーク環