HTML::Feature - 重要部分を抽出するモジュール - - ダウンロードたけし（寅年）の日記

以前からCPANで公開していたモジュールがあるんですが、日本語での解説ドキュメントがなかったのと、最近大幅にブラッシュアップしたので、せっかくなので紹介記事を書きます。 HTML::Feature - Extract Feature Sentences From HTML Documents 「えいちてぃえむえる::ふぃーちゃー」と読みます。 ブログやニュース記事など様々なHTML文書から「重要部分」を推測して抽出してくれる perl モジュールです。 「重要部分」とはいわゆる「本文」のことですね。本文抽出とか焦点抽出とか色々な言い方があるかと思いますが、まぁ要するに特徴的な部分を推測して抽出するわけです。 どういうものか。 例えばブログ記事からヘッダーやフッター、その他のナビゲーションブロックを除いた「記事らしき部分」だけを切り取りたい、とします。 ぱっと思いつくのは「特定のコメントタグ

[kiririmode]

HTML::Feature の用いる抽出アルゴリズムの簡単な説明

[kiryuu]

重要部分（本文）を抽出するモジュール

[webmarksjp]

scraping

[toton]

本文抽出。 HTMLの「構造」を解析して重要そうな部分を推測する仕組み

[todesking]

html、本文抽出、エレメント構造から推定

[ibitsu]

HTML::Feature

[lesamoureuses]

簡単なアルゴリズムの割には良い精度だと思う。ベイジアンとかと同じ感じだなぁ。低コストである程度の精度を得る。

[topaz2]

おもろい。blog なんかの本文だけを抽出。

[tckz]

抽出。言語による制約がないらしい

[hiro_y]

ページ内の重要部分を推測して抽出。

[hakobe932]

おもしろい

[yappo]

つかう

[makoto15]

仕事で使えそう

[umiyosh]

いれてみた

[toruto]

HTML::Featureの抽出精度は7～8割。本文抽出は泥臭くやるしかないのかな。

[mattn]

｢えいちてぃえむえる::ふぃｰちゃｰ｣と読みます｡