自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
人工知能開発における「はあちゅう」問題について｜加藤貞顕
コンテンツ会議は毎週水曜日に更新ですが、年の瀬なのでちょっと番外編を。 ピースオブケイクは、メディアをもりあげていくためにいろんなことをしてるわけですが、人工知能による自然言語処理の研究開発もしています。たとえばcakesの記事下にある、リコメンドエンジンは、そうした技術で動いています。 本日は、有志で集まって人工知能の勉強会をしました。講師はCTOのkonpyuさん。生徒はエンジニアチームなんだけど、CEO特権でぼくも参加させてもらいました。 まず、自然言語処理のための、いろんなアプローチの解説を聞き、次は実践に。 pythonやchainerなど、必要なソフトウェアをインストールしていきます。 人工知能は、教師データを用意して、適切なニューラルネットワーク（NN）を用意して、NNの重み付けを調整しつつ学習させるという手順で作成します。 まず重要なのは、教師データをつくるところです。たと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
