[B! スクレイピング] suninのブックマーク

WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記

新年あけましておめでとうございます。今年もボチボチやっていきます。本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お

sunin 2012/01/16

リンク

サービス終了のお知らせ

平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。本件に関するお問い合わせはこちらよりお願いいたします。

sunin 2010/02/01

リンク

PHP5、未整形HTMLをSimpleXMLへ変換 - goungoun技術系雑記帳

PHP5でのスクレイピングについて調査してみた。正規表現でやってもいいのだけど。 PHP5でやるのだからSimpleXMLでやってみたい。となると、いかに未整形HTMLを整形済にしてSimpleXMLとするかが課題となる。これについて調べてみた。 ↓これが答え。なるものを見つけました。 HTMLParser(PEARのXML_HTMLSax3使用)orTidyで整形してるそうです。 HTMLをXML化してDOMやXPathで操作するWebスクレイピング用PHPクラス : Under Construction, Baby: # SimpleXML＋HTMLParser or Tidy＋HTTP_Request＋Cache_Lite http://www.rcdtokyo.com/ucb/contents/i000851.php これで調査終了。というのも寂しいので。もう少しお手軽にで

sunin 2010/02/01

リンク

http://www.rcdtokyo.com/ucb/contents/i000799.php

sunin 2010/02/01

リンク

http://www.rcdtokyo.com/ucb/contents/i000851.php

sunin 2010/02/01

リンク

PHPでHTMLを解析 - 僕のススメ。

ずっとやろうと思ってたHTML解析をやってみた。 HTML解析は、DOMDocument->loadHTML()関数を使用して出来ることはできる。 <?php $doc = DOMDocument::loadHTML("<html><body>Test<br></body></html>"); echo $doc->saveHTML(); $doc = new DOMDocument(); $doc->loadHTML("<html><body>Test<br></body></html>"); echo $doc->saveHTML(); ?> これだと簡単に動かせない。っということで、google先生に聞いて結果引っかかったのが以下の方法。 PHPでプログラミングをしています。特定のHTMLファイル内にある… - 人力検索はてなこれの回答[5]が非常に参考になる。回答[5]に記載し