タグ

datumに関するyukiyan_wのブックマーク (2)

  • WordCloudで単語頻度図を作る | ブログ一覧 | DATUM STUDIO株式会社

    技術ブログの目的 こんにちは。DATUM STUDIOの岩城です。技術ブログでは、テキスト中の単語頻度を可視化するためにWordCloundを用いた単語頻度図の作成を行います。WordCloudはテキストデータを頻度の高い単語ほど大きな文字で表示した単語頻度図を生成するライブラリです。自然言語処理において対象とするテキスト中の単語頻度を調べることは極めて重要で、WordCloudによる単語頻度図はそれらの直感的な理解に役立ちます。 今回は馴染み深い(?)「日国憲法」を題材にPythonからWordCloudの単語頻度図の描画を目指します。 描画までの流れ 描画までの流れは下記の通りです。 (1) テキストデータの準備 (2) MeCabによるテキストのわかちがき (3) WordCloudによる描画 上記に示す様に、テキストデータをWordCloudに投入するだけでは単語頻度図が得ら

    WordCloudで単語頻度図を作る | ブログ一覧 | DATUM STUDIO株式会社
  • 【特別連載】 さぁ、自然言語処理を始めよう!(最終回: 機械学習によるテキストマイニング)

    みなさまこんにちは。 前回の連載 【特別連載】 さぁ、自然言語処理を始めよう!(第2回: 単純集計によるテキストマイニング) では TF-IDF を用いて Twitter Streaming API 経由で取得した日語 Tweet データから、ある日の特徴語を抽出する方法を紹介しました。 今回は機械学習を用いたテキストマイニングを行いたいと思います。機械学習とは「経験により自動的に改善していく」コンピュータープログラムの構築方法に関わる分野です。 具体的には Python機械学習用ライブラリである scikit-learn を用いて、集めた Tweet データを「ポジティブ」、「ネガティブ」なものに自動で分類する方法を紹介します。 処理の流れ今回行う処理は次のような流れになります。学習用データの作成データの前処理手法の選択モデルの学習未知要素の分類実行環境は前回、前々回で使用した A

    【特別連載】 さぁ、自然言語処理を始めよう!(最終回: 機械学習によるテキストマイニング)
  • 1