第22回 Coroを使ったやさしいクローラの作り方（1） | gihyo.jp
本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回は本誌Vol.68～73まで「フロントエンドWeb戦略室」を連載していたmalaさんで、テーマはクローラの作り方です。個人用のちょっとしたダウンローダを書くときから、大規模なクローラを書く場合まで、Perlは強い味方になります。 なお本稿のサンプルコードは、本誌サポートサイトから入手できます。 クローラの礼儀作法 クローラ、スパイダ、bot[1]を稼働させる際は、アクセスのしかたによっては相手先のサービスに多大な負荷をかけてしまいます。本節ではまず、使用言語にかかわらずクローラを書くうえで一般的に知っておくべき作法について述べます。 robots.txtによるbotの制御── アクセスしてよいかの指示 Webサイトに置かれるrobots.txtは、botから「アクセスしてよいか」を判断するものです。アクセスする対象がht
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
5分でWebスクレイピングをする - YAMAGUCHI::weblog
はじめに あけましておめでとうございます。今年もPython界の江古田ちゃんとして頑張っていく所存です。さて id:nishiohirokazu が5分でPythonは便利だと思える記事を元旦から書いていました。 「ほえー、さすが西尾さんや」って思ってたら、西尾さんが「おい山口、5分でPython便利だなーって思える記事書けや」っていう無言の圧力をかけてきたので*1 *2なんとなく書きました。 「5分で」っていうのが読者が読む時間なのか、筆者が書く時間なのかがわからなかったので前者ということにしました。5分で記事とコード両方書くとか無理や。 こんなことないですか 「Webでスクレイピングしたいよー、てへへ。だけど文字コードとかがページごとにバラバラでマジしんどいっす。しかもタグ抜き出すのとかめちゃめんどいっす><」ってことはあったりしませんか？ リンクのタイトルとかも綺麗に抜き出したいなー
簡単なクローラ作るならPythonだよ！
http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404 最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。 クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。 結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりと
サイト内のURLを全て集めるPHP製クローラー - URL Collector [ゼロと無限の間に]
<?php require('htmlsql/snoopy.class.php'); require('htmlsql/htmlsql.class.php'); $c = new UrlCollector(); $c->echoFlg = true; $arr = $c->getUrls('http://example.com/', 'タイトルに共通の部分'); $fp = fopen('test.log', 'a'); foreach ($arr as $url => $title) { fwrite($fp, "$url :\t$title\n"); } fclose($fp); <?php /** * URL Collector * @see http://0-oo.net/sbox/php-tool-box/url-collector * @version 0.1.0 * @cop
PHPのクローラについての調査 PHPCrawlの解析その７ - ＫＪの業務改善日誌
札幌のIT企業に勤務するSE／プログラマです。業務改善、Java、VBA、セミナー、転職、副業、投資に関する記事が中心です。Jターン経験者です。Uターン、Iターン、Jターンに興味がある方は気楽にコメントお願いします。また、他業種からIT企業に転職しているので興味があればコメントお願いします。 PHPCrawlでのクロールがとりあえず出来るようになりました。 ただ、クロールで循環した場合はどうなるのか？等の検証が出来ていませんので、 デバッグ以外で怖くて使えませんけど＾＾； とりあえず、PHPCrawl一度まとめておきますと・・・。 PHPCrawlは、そのままで使うと ・PHP5に対応していない為、ワーニングが出まくる。・robot.txtを見ない。・ページを読み込む間隔が設定されていないので、クローラー対象のWebサーバに負荷をかける危険性がある。・日本語は文字化けする。 といった事で、
橋本商会 » いかにしておっぱい画像をダウンロードするか〜2012 をRubyで書いた
元ネタ：いかにしておっぱい画像をダウンロードするか〜2012 – ゆーすけべー日記 昔、yusukebeさんとは大学で同じ研究室だった。 俺がまともにプログラムを書けるようになったのは、研究室に入った時に新入生向けのyusukebeサブゼミに入って、Flashで実装されたRSSリーダーのソースコードを見せてもらったあたりがきっかけだった気がする。 俺も高校生が（Rubyで）プログラミングをはじめるきっかけになりたいので、Ruby版を作ってみました。 Rubyもこういうwebクローラーを作るのに向いている言語だし、最近のMacなんかには最初からインストールされているので試してみると良いよ。 まずjson gemをインストールする。 sudo gem install json oppai.rb #!/usr/bin/env ruby require 'rubygems' require 'op
2ちゃんねるBOTの作り方 準備編 - GIOの日記
アホな話 2ch画像まとめというウェブサービスをご存知でしょうか。 クロール？スパイダリング？スクレイピング？いわゆるBOTが2chに書き込まれた画像を取得し、 まとめて見れるようにしたサイトなのですが、今日、次の記事を見つけた。 http://www.oshiete-kun.net/archives/2009/02/2chdl.html アホすぎる。クローラのクローラなんて。。 しかも、2ch画像まとめで見れる画像は全てWeb用に縮小した画像です。 ダウンロードするようなコレクターはオリジナルをダウンロードしたほうが良いですよ。 ということでBOTつくりましょう。 前知識 まずはコードを書く前に2chのしくみを簡単に。 2chはスレッド型掲示板の集合であり、全ての掲示板は次のHTMLファイルに一覧されてます http://menu.2ch.net/bbsmenu.htmlたとえばニュー速
rubyでhtmlを解析 (マルッと！)
RubyのHTMLを解析するパーサはいろいろありますが、今回は hpricot を使ってみました。 gemでインストールできるので簡単。 サンプル。 require 'rubygems' require 'hpricot' doc = Hpricot(%{<a class=l href="hogehoge">bar</a>baz}) doc.search("a").map {|i| [ i['href'], i.inner_html ] } #=> [["hogehoge", "bar"], ["foo", "baz"]] HTMLページの読み込み doc = Hpricot("<p>A simple <b>test</b> string.</p>") open-uriを使えばこんな風にURL先のHTMLを取得できます。 require 'open-uri' doc = Hpricot(o
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Ruby言語で書いたクローラー
とある不動産投資物件のデータをクロールするために 作ったクローラ 備忘録として残しておく。 Ruby習いたてで書いたので色々修正するところもありそう。 #! ruby -Ks # ○○○サイトクローラー # # 利用方法：コマンドラインより実施 # ruby site_crawler.rb 引数1 # # 引数1:なし →Typeのすべてを取得 # 引数1:種別名称 →Typeに一致するものだけを取得 # 例） ruby site_crawler.rb 投資用マンション ##投資用マンションのみ取得 # 例） ruby site_crawler.rb ##すべて取得 # # 出力されるCSVは、Shift-JIS タブ区切り 改行コード:CRFL require 'rubygems' require 'mechanize' requ
rubyでクローラーを書いてみた - 山羊の頭の日記
２ちゃんねるのスレッド（dat落ち含む）タイトルを取得する。 #!/usr/bin/ruby -KU -w require 'net/http' require 'kconv' def getfile(url) content='' begin res = Net::HTTP.get_response(URI.parse(url)) if res.code == '200' content=res.body.toutf8 end rescue end content end def scanhref(url,re) getfile(url).scan(re) end scanhref( 'http://menu.2ch.net/bbstable.html', /<A HREF=(http\S+).*?>(.+?)<\/A>/ ).each do |url, title| scanhref(
jamboree.jp - jamboree リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
EventMachineを使ったクローラの書き方の足がかり
Photo by pnoeric いま、PhotoShareで使うために、高速なEvent Driven方式のネットワークライブラリ、EventMachineを調べています。 このEventMachine、ほとんどの場合はサーバを作るときに使われていますが、HTTPクライアントの機能も実装されており、実はクローラの様な物を作るときにも利用することができます。 今回はこっちを使いたかったのですが、ググってもほとんど情報が出てこなかったので、Seattle.rbで相談したところ、Aaronさん(RubyKaigi 2008でプレゼンしているのをustで見てコンタクトしました)からサンプルが貰えたので、それを元に、同時接続する様にしてみました。 このコードだけだと役には立ちませんが、情報が少なかったので参考に上げておきます。 require 'rubygems' require 'eventma
83's : RubyのURIライブラリがクローラに最適過ぎる件
URI#+が賢いって話を以前書いたんだけど、 さらにこんな振る舞いをすることをさっき知った。 uri = URI.parse('http://fg-180.katamayu.net') (uri + 'http://twitter.com/yazu').to_s #=> "http://twitter.com/yazu" ところで、//a/@hrefをぶっこ抜くと大体 /abc/def.html ghi.html ../jkl.html http://mno.pqr.com という感じで形式がばらけてるんだけど、 今いるページのURIと+するだけでこれがキレイになってしまう。 current_uri = URI.parse('http://example.com/123/') (current_uri + '/abc/def.html').to_s #=> "http://example.
Rubyでクローラー - BitArts Blog
リンクだけじゃなく、フォーム、イメージ、フレームまでがっつり収集してくれるクローラーが欲しかったんだけどwgetではできないようなので自作することにした。 フォームのフィールドを集めたりするの、ちょっと大変そうだな。。と思ったんだけど、WWW::Mechanizeというライブラリを使ったら超簡単だった。ビバMechanize！ require "rubygems" require "mechanize" class CrawlerListener def notify_begin end def pre_request end def notify_response(result) puts %Q{#{result[:method]} #{result[:uri]} #{result[:query] ? result[:query].inspect : ""}} end def post_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webクローリング＆スクレイピングの最前線 公開用
クローラを作る技術と設計 (毎週のハンズオン勉強会資料)
%3Druby%25E3%2581%25A7%25E3%2581%25A4%25E3%2581%258F%25E3%2582%258B%26srt%3Drank%26vl(1UI0)%3Dcontains%26frbg%3D%26tab%3Ddefault_)
KOSMOS - 慶應義塾大学メディアセンター