MozillaのスクレイピングフレームワークFathomを試してみる - たけぞう瀕死ブログ

こちらのOSDNの記事で知ったのですが、MozillaでFathomというJavaScript用のスクレイピングフレームワークを開発しているようです。仕事でクローラーを作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.jp 以下のGitHubリポジトリで開発されています。GitHub Pagesに詳しいドキュメントもあります。 github.com OSDNの記事で触れられている開発者のErik Rose氏のブログエントリはこちら。 hacks.mozilla.org ドキュメントやErikさんのブログエントリなどをざっと眺めてみたところ、それほど複雑なものではなく、ある程度曖昧なルールとスコアリングを定義しておき、最もスコアの高い要素の選択するというのが基本的なコンセプトのようです。 なにはともあれ試してみます。まずは適当なディレクトリを掘り、np

[masterq]

スコアで要素を選択というのがよくわからなかった。というか挙動が安定しないのではないかと不安に感じたけれど、そもそもスクレイピングにセマンティクスなんてないかと思いなおすなどしました。

[yug1224]

何かで使いたい

[tmatsuu]

ほほう

[fuba]

最高っぽい

[kikuchi1201]

よさそう

[Rockridge]

Fathomは「タイトルなどわかりやすいものはともかくデータとして使用する目的でスクレイピングするにはある程度きちんと論理的なマークアップがされていないとこのアプローチでは厳しいのではないか」とのこと。

[sakuradaiio]

これはおもしろそう。やってみる

[shogo_okamoto]

これは何をスクレイピングするかというと、Webページから本文=主題を抽出することを目的としているのではないかと思いました。それを「ウェブサイトから意味を抽出する」と呼んでいるようです。