Doc2Vecを使って小説家になろうで自分好みの小説を見つけたい話 - Aidemy Blog

どうもこんにちは。 Aidemy研修生の片岡(@ShotaroKataoka)です。 今回は小説をベクトルに変換して、自分好みの小説を見つけたいと思います。 [キーワード] 自然言語処理, データスクレイピング, 形態素解析, Doc2Vec, 階層的クラスタリング, 類似文書の検索 はじめに 背景 手法 環境構築 学習データの準備 データの取得 データの前処理 Doc2Vec Doc2Vecについての概要 Doc2Vecを使ってみる クラスタリング 階層的クラスタリングについて クラスタリングの実行 クラスタの分析・評価 クラスタのジャンル推定 ジャンル推定手法の改良 観測によるジャンルの推定 類似小説の検索 検索機能の実装 似ている小説を探してみる 未知の小説に適用してみる まとめ 結果について 考察・今後の展望 はじめに 背景 突然ですがみなさん、小説を無料で投稿できるサイトをご存知

[karaage]

クラスタリングまでやってて良いな。結果も面白い

[cider_kondo]

「クラスタのジャンル推定」でダメダメだった結果が「ジャンル推定手法の改良」で一変するのは面白い。これって(その気になれば標本数を増やせる)なろうじゃなく、他の中小サイトでより効果的な手法に思える