HTMLをスクレイピングして解析(パース)する - まるさんかくしかく Tech学習と入門ログ

Twitter Facebook B! Bookmark LINE Pocket Feedly HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。 PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。 以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。 PHPでスクレイピング＆パース HTMLを整形式のXML文書に修正するPHPクラス HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動

[sakushin_lo]

scraping

[raitu]

スクレイピング関係

[hiromark]

まとまってて便利。

[webmarksjp]

scraping

[tyoro1210]

「xpath_new_context」とか「xpath_eval」とかはどうなんだろう。　まともに使えるのかな。

[tocread]

スクレイピング

[ono_matope]

Webスクレイピング、パーサー。

[agx]

スクリプト言語でスクレイピング

[konaze]

お、便利そう。ちょっと使ってみよう。

[nshash]

phpでウェブスクレイピング

[leva]

phpでウェブスクレイピング

[yhara]

PHP,Ruby,Perl