Doc2Vecを使って小説家になろうで自分好みの小説を見つけたい話 - Aidemy Blogどうもこんにちは。 Aidemy研修生の片岡(@ShotaroKataoka)です。 今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。 [キーワード] 自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索 はじめに 背景 手法 環境構築 学習データの準備 データの取得 データの前処理 Doc2Vec Doc2Vecについての概要 Doc2Vecを使ってみる クラスタリング 階層的クラスタリングについて クラスタリングの実行 クラスタの分析・評価 クラスタのジャンル推定 ジャンル推定手法の改良 観測によるジャンルの推定 類似小説の検索 検索機能の実装 似ている小説を探してみる 未知の小説に適用してみる まとめ 結果について 考察・今後の展望 はじめに 背景 突然ですがみなさん、小説を無料で投稿できるサイトをご存知
