自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
MeCab - Wikipedia
MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓[1][2]によって開発されている。名称は開発者の好物「和布蕪（めかぶ）」から取られた。 開発開始当初はChaSenを基にし、ChaSenTNGという名前で開発されていたが、現在はChaSenとは独立にスクラッチから開発されている。ChaSenに比べて解析精度は同程度で、解析速度は平均3-4倍速い。 品詞情報を利用した解析・推定を行うことができる。MeCabで利用できる辞書はいくつかあるが、ChaSenと同様にIPA品詞体系で構築されたIPADICが一般的に用いられている。 MeCabはGoogleが公開した大規模日本語n-gramデータの作成にも使用された[3]。 Mac OS X v10.5及びv10.6のSpotlig
MeCabで形態素解析してみた【PHP】 - Programming Magic
まずはMeCabをインストールする。MeCabのインストールはapt-getでもできたのだが、apt-getでインストールされるMeCabのバージョンが0.93でMeCab extension 0.2.0が対応していなかったのと、apt-getでmecab-ipadicがインストールできなかったため、ソースからインストールすることにした。 「MeCabのページ」からmecabとmecab-ipadicをDLして、mecabの方からインストールする。このとき、makeやg++がなければ先にインストールしておく。 > apt-get install make g++ > tar xvfz mecab-0.97.tar.gz > cd mecab-0.97 > ./configure > make > make install 次に、mecab-ipadicをインストールする。デフォルトでは文字
形態素解析 - Yahoo!デベロッパーネットワーク
このサンプルは日本語形態素解析APIを使用して、入力された文章を形態素解析し、その結果を表示するものです。［解析対象文］のテキストエリアに文章を入力します。［解析］ボタンを押下すると形態素解析を行い、［文書の解析結果]欄に解析結果を表示します。また、［解析オプション］で要素を指定することにより、形態素の指定された要素の情報を返すように指定できます。品詞を指定することにより指定した品詞の情報のみ返すように指定できます。結果は［形態素の表示]欄に表示します。 使用API ダウンロード サンプルご利用の際は、利用規約をご覧ください。利用規約は、ダウンロードパッケージ内のLICENSE.txtファイルに記載されています。 ダウンロードはこちら（ダウンロードサイズ：約3.3KB） コード解説 ダウンロードしたアーカイブファイルを展開すると下記のようになります。 `-- sample2 |-- LIC
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
形態素解析 - Wikipedia
日本語の代表的な形態素解析の手法[編集] 英語の場合と異なり、文節を得るのが目的となることが多い。大まかに言えば文から切り出した単語が属する品詞を辞書（自然言語処理用の）を用いて調べていき、結果得られた並びから正しく文節が構成される並びであるものを正解であるとするといったような方法を取る。 日本語文法では、たとえば動詞のあとに格助詞がくることはできない（「ドアを開けるを」などは不可）といったように、ほとんどの付属語について「このようなものの後には付く」「このようなものの後には付かない」という規則性があり、また動詞の活用はその後に来る品詞を制限することがある（たとえば連体形の後は名詞）。このような性質を利用することによって単語の境界の判別を行う。具体的にこの性質を利用する方法には以下の2つがある: 規則による方法 確率的言語モデルをもちいる方法 規則による形態素解析[編集] 長尾真らの197
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
