PHPでのスクレイピングやDOM操作をjQueryっぽく超簡単便利にできる「phpQuery」:phpspot開発日誌
phpmaster | Server-Side HTML Handling Using phpQuery PHPでのスクレイピングやDOM操作をjQueryっぽく超簡単便利にできる「phpQuery」。 紹介記事を読んで使ってみました。 phpQuery はjQueryのPHP版でDOMの操作をjQueryっぽくできるライブラリです。 HTMLのスクレイピングはもちろん、HTMLを追加したり要素に属性を追加等のDOMを操作も簡単に行えます。 jQueryの便利さがPHP上でも十分に使えますので知っておくと確実に面倒な処理を楽に書けるようになるでしょう。 スクレイピング HTMLのスクレイピングをする場合には超簡単かつ、jQueryを使ったことがある方なら抵抗なくすぐに習得できます。 ちょっとコードを書いて実験してみました。 と書くと <div id="two"></div>の中身である t
PHP Simple HTML DOM Parserがとっても便利
HTMLをパースしてきてDB化したり、RSSのテンプレに落とし込む…と言ったことを少し前からしているのですけど、1つ2つならいざ知らず対象サイトが増えてくると正規表現で何かし続けるのはたいそう無理があります。そういうわけでDOMを使ったりXPathを使ったりもしていたのですが、どちらもHTMLの構造にぴったりとは言えなくて、高度なことが出来るが故に記述が複雑になってしまうのでした。うーん。慣れるまでにハードルがあるな… そんなことを思っていたのですが、ふとした拍子に見つけたライブラリ「PHP Simple HTML DOM Parser」を利用してみたらば、とてつもなく便利でびっくり。jQueryのようなセレクタでガンガン指定して持ってくるスタイルでわかりやすいのなんの。 $text = $dom->find('#todays_darling', 0)->innertext; //今日のダ
Simple HTML DOM documentation
PHP Simple HTML DOM Parser A fast, simple and reliable HTML document parser for PHP. Created by S.C. Chen, based on HTML Parser for PHP 4 by Jose Solorzano. Parse any HTML document PHP Simple HTML DOM Parser handles any HTML document, even ones that are considered invalid by the HTML specification. Select elements using CSS selectors PHP Simple HTML DOM Parser supports CSS style selectors to navig
simple_html_domでFatal error: Allowed memory sizeが出まくった。
EFIブートローダを移動した HX90に環境を整え終わってから、アホな事をしたので、その記録を残す。 SSD: Cドライブ SSD: Dドライブ(データストレージ用) + ESP※ SSD: Eドライブ(データストレージ用) ※ESP(EFI System Partition) インストールした時、こんな構成だった。 ESPがDドライブにあるのが気持ち悪かったので、これを削除した。 そしたら、BIOS画面が出るだけになり、Windowsが起動しなくなった。 移動手順 この時の自分はMBRをふっ飛ばした時と同じ現象だと思ったので、MBRというキーワードで検索したが、今はEFIブートローダーと呼んでいるらしい。 【Win10】任意のディスクにEFIブートローダをインストールする 色々検索した結果この記事が参考になった。 Diskpartを使って、パーティションを新たに分割し、bcdbootを実
PHPでHTMLをパースする « zaru blog
XMLじゃなくて、HTMLを解析したい…。しかもPHPで。 XMLだと、simplexml_load_file()っていう便利な関数がPHP5からあるけれど、HTMLはタグを取り除くぐらいしかない…というわけで、探してみたらHTMLをパースするライブラリがあった。 その名もまんまな、PHP Simple HTML DOM Parser。 PHP Simple HTML DOM Parser 2011/02/21 追記 ユーザエージェントを偽装する方法を書きました。 使い方 include('simplehtmldom/simple_html_dom.php'); $html = <<<EOM <ul> <li>aaa</li> <li>bbb</li> <li>ccc</li> </ul> EOM; $data = str_get_html($html); foreach($data->f
htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」
htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」 今週はてブでも大人気を博した記事「真面目にエロサイトを作ってみた【プログラマ編】｜ASTRODEO」や、IDEA*IDEAさんでも紹介されていた、PHPでHTMLをparseするライブラリ「htmlSQL」ですが、解析するHTMLを指定するにはSQLちっくな書き方をするので、SQL自体に触れる機会の少ない方には手を出しにくいシロモノです。 SQLわかんないです＞＜ もっとカンタンにparseしたいぉ☆ってゆー方に全力でゴリ押ししたいのが、今回紹介するMITライセンスのPHPライブラリ「PHP Simple HTML DOM Parser」です！ PHP5で書かれたこの「PHP Simple HTML DOM Parser」の最大の特徴は、解析し
PHPでスクレイピングの巻
前回のつづき。 phpの「PHP Simple HTML DOM Parser」でスクレイピングをしますよって話です。 一応SEOツールを作りたいので、ひとまずターゲットはGoogleとYahooのバックリンク数をとりましょう。 バックリンクを取るには、検索するときにGoogleは「link:」をYahooは「linkdomain:」を対象URLの前につけて検索。 検索結果○○○件中の「○○○件」がバックリンク数ですな。 この作業をphpで実現するためのコードはこんな感じ。 include_once 'simple_html_dom.php'; // link encoding $searchLinkKeyword = urlencode('link:' . $linkGoogleUrl); $searchLinkGoogleUrl = 'http://www.google.co.
htmlSQLを使ってみた - 130単位
jonasjohn.de: htmlSQL - a PHP class to query the web by an SQL like language http://www.jonasjohn.de/lab/htmlsql.htm htmlをSQLっぽい記述でスクレイピングできるPHPのライブラリです。更新は2006年で止まっているみたいですが、最新バージョン(0.5)は問題なくダウンロードできました。BSDライセンスです。 利用手順 必要なファイルをインクルード <?php include_once("snoopy.class.php"); include_once("htmlsql.class.php"); インスタンス化 <?php $wsql = new htmlsql(); URLにアクセス <?php $wsql->connect('url', 'http://example
Snoopyではてなにログインする - Tech Side of 泥やまだ
curlとかPEAR::HTTP_Request使うよりもお手軽かも。 <?php error_reporting(E_ALL); include_once 'Snoopy.class.php'; $account="doroyamada"; $password="nanchara"; $snoopy = new Snoopy; $url="http://www.hatena.ne.jp/login"; $params = array( "name" => $account, "password" => $password, "persistent" => "0", ); $snoopy->submit($url,$params); #var_dump($snoopy); foreach($snoopy->headers as $header){ if(preg_match('/Set-C
[ htmlSQL ] SQL みたいな文法で HTML を抽出する PHP のライブラリ
SQL みたいな文法で HTML を抽出する [ htmlSQL ] と言う PHP のライブラリを使ってみました。 簡単な流れのサンプル ———————————————————————- [ htmlSQL ] の簡単な流れは次の通り。 <?php // [ htmlSQL ] のライブラリを読み込む include_once("./snoopy.class.php"); include_once("./htmlsql.class.php"); // インスタンス化 $htsql = new htmlsql(); // 取得したい HTML を指定 // ( URL から取得する場合 [ url ] と書き、ファイルから取得する場合 [ file ] と書く ) if (!$htsql->connect(‘file’, ‘./test.htmlR
![[ htmlSQL ] SQL みたいな文法で HTML を抽出する PHP のライブラリ](https://cdn-ak-scissors.b.st-hatena.com/image/square/19691f3db719fc116cbcdd5e767c89ee15487f3e/height=288;version=1;width=512/https%3A%2F%2Fbowz.info%2Fwp-content%2Fuploads%2F2018%2F09%2Fudon-1.jpg)
HTMLScrapingかhtmlSQLか、それが問題 - [Mi]みたいなもの
正規表現ぶんまわしでのスクレイピングは、やっていて鬱々としてきます（試行錯誤が多すぎ）。 一段落したのを機に、ライブラリ等を使って処理をパターン化することにします。 ▽[php]スクレイピングならHTMLScraping→SimpleXML→xpath (うえちょこ＠ぼろぐ) http://labs.uechoco.com/blog/2009/01/php-%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0-htmlscraping-simplexml-xpath.html あたりを読みながら、手段を検討しました。 Tidy関数は、今のレンタルサーバに入っていないこと、他のレンタルサーバに移動する可能性もあるもののおそらく以前のように専用サーバを借りてごりごりやることは考えにくいことから使える可能性の方が低いので使
![HTMLScrapingかhtmlSQLか、それが問題 - [Mi]みたいなもの](https://cdn-ak-scissors.b.st-hatena.com/image/square/028ce4425e95fa4670684ca1bb75bbabd9636be2/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127156572702%2F17680117127156594256%2F1558483565)
[PHP]HTMLScrapingのメモリリーク回避 | SiteMixでCakePHP開発(社外秘)
htmlファイルをスクレイピングする必要があり、HTMLScrapingというライブラリを使用しています。 http://www.rcdtokyo.com/ucb/contents/i000851.php ライブラリ自体は便利なのですが、どうもgetXmlObject()を呼ぶたびにメモリ使用量が増えていってしまう… PHP初心者ながらコードを追っていると、どうもgetXmlObject()がコールされるたびに、require ‘xhtml1-transitional_dtd.inc.php’;が呼ばれ、この度にメモリ使用量が大量に増えていっているようだ。 上述のrequire…は、一回呼ばれれば十分なコードでしたのでパッチを当ててみました。 “add 2009/10/12″, “del 2009/10/12″がある行が変更箇所です。 1 2 3 4 5 6 7 8 9 10 11 12
ひきぷろぐ - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
htmlSQLの基本的な使い方
WebスクレイピングのライブラリhtmlSQLの使い方メモ。 スクレイピングの準備 //Snoopyをinclude include_once("../snoopy.class.php"); //htmlSQLをinclude include_once("../htmlsql.class.php"); //インスタンス生成（Exampleで使われている"$wsql"という変数名は、昔はWebSQLという名前だった名残り） $wsql = new htmlsql(); Webページからスクレイピング if (!$wsql->connect('url', 'http://codedump.jonasjohn.de/')){ print 'Error while connecting: ' . $wsql->error; exit; } ローカルにあるファイルからスクレイピング if (!$ws
PHP×Snoopy×スクレイピング - 生涯未熟
Snoopyという面白いライブラリを発見したので色々とまとめてあるサイトをさらにまとめてみようかと。 Snoopy でHTMLを取得する - bnote Snoopy で Web 巡回ソフトを作る - ひきぷろぐ phpでどこかのhtmlソースを持って来る - 和風なギークに憧れて… SnoopyとHTTP_Request - ITT-WEB これら以外はあまり情報が見つかりませんでした。 Snoopyがあまり使われていない理由は同じ機能を持つものが存在しちゃったりするからでしょうかね。 調べてみたところどうやらSnoopy単体よりかhtmlsqlとセットで使用されちゃったりしてるのですな。（htmlsqlをダウンロードするとSnoopyもセットで付いてきます） htmlsqlについては、 htmlSQLの基本的な使い方 - floatingdays SQL みたいな文法で HTML を抽
simplexml_load_string()関数で、 http://b.hatena.ne.jp/keyword/%E6%A5%AD%E7%95%8C?…
simplexml_load_string()関数で、 http://b.hatena.ne.jp/keyword/%E6%A5%AD%E7%95%8C?mode=rss&sort=count こちらのrssを取得してパースし、オブジェクトに入れています。 ところが Entity: line 499: parser error : Input is not proper UTF-8, indicate encoding ! Bytes: 0xE3 0x2E 0x2E 0x2E in というようなエラーが発生します。 web上ではエラーで表示されませんが、テキストで保存してみると、 最後のエヴァンゲリオンのrss部分の 動き. という場所があります。 それをpreg_replaceで""（なにもなし）へ置換しました。 すると、問題なく表示できました。 http://q.hatena.ne
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク - PHP Simple HTML DOM Parserに関するreasonofreasonのブックマーク
http://www.phpforum.de/forum/showthread.php?t=229368
htmlsql - 戯言
http://www.rcdtokyo.com/etc/htmlscraping/