2008年、Webは文字列解析で変わっていく

前回は、Perlモジュールである「Web::Scraper」を使ったスクレイピングについて説明した。Webページ（HTML）は、「構造」と「デザイン」面で比較的分離が進んできたため、CSSセレクタによるスクレイピングが有効であることが分かったはずだ。 今回の最終回では、コンテンツの自動収集と統計手法について考えてみよう。 記事内で扱っていくのは、幾つかのコンテンツをたどって、「利用頻度の高い語句を集め、話題となっているキーワードを見つけよう」というものだ。 話題のキーワードを集める手法 近年ブログのポータル上などでは、話題となっているキーワードを「利用頻度に応じたフォントサイズ」で示し、クリックすると該当の記事一覧が表示されるという仕組みが実装されているものが多い。 オルタナティブ・ブログにも似たようなものとして「話題のキーワード」が見られる。キーワードをクリックすると、Googleによる

[kazuph1986]

古き良き“WWW:Mechanize”などを使ったスクレイピングを解説した記事を流し読み。最近スクレイピングしまくってるけど特に色褪せず有用だと思う。

[ZAORIKU]

であしでたいしたことは書いていないが後で読む[txt]

[dq8web]

web2.0

[y_tama]

形態素解析　文字列解析

[tamaot]

[Web::Scraper][スクレイピング][タグクラウド]