Yasuriでお手軽スクレイピング - Qiita
require 'yasuri' # "Rubyに関する新着投稿 - Qiita" を起点にする agent = Mechanize.new page = agent.get('http://qiita.com/tags/Ruby/items') # 最新3ページをスクレイピングする init_page = Yasuri.pages_init '//*[@id="main"]/div/div/div[1]/section/div[2]/ul/li[7]/a', limit:3 do # 現在のページ数 text_page_idx '//*[@id="main"]/div/div/div[1]/section/div[2]/ul/li[@class="active"]/a', proc: :to_i # 各エントリをスクレイピング struct_entries '//*[@id="main"
「データを集める技術」という本を執筆しました - プログラマでありたい
Webからデータを集めるというテーマで、「データを集める技術」という本を書きました。中身は、クローラー／スクレイピング本なのですが、それだと内容が「Rubyによるクローラー開発技法」と丸かぶりになってしまうので、本職プログラマでない人でも読めるような内容を目指して書いています。 データを集める技術 最速で作るスクレイピング&クローラー 作者: 佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2016/11/29メディア: 単行本この商品を含むブログを見る Excelでデータ収集をする理由 メインのターゲットは、ITエンジニアです。ただし前述のとおり、プログラマでない人でも何とかなるように目指しています。ということで、メインのデータ収集環境は、ExcelとGoogleスプレッドシートです。何故、Excelを選んだかというと、技術書で10万冊売れるのはExcelだけだから。環境構築の
人間にはわかるのに、なぜ機械にはそれがわからないのか。A.I.とスクレイピング - かれ4
この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて
Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 読んだ - hitode909の日記
Rubyでインターネットを巡回する本． いちばん簡単なのだと，Wgetで再帰的にダウンロードしてみましょうとか，Anemoneっていうクローラ作るためのライブラリとか，ThreadやEventMachineで並列に動かすとか． あとは，Rubyだからgemの便利グッズが紹介されていて，一番よかったのは，koalaっていうfacebookにアクセスするためのライブラリで，キラキラネームでまぶしい． 気になったのは，けっこうHTMLをXPathとかで取り出してスクレイピングしていることで，こういう方法だとしばらくすれば壊れそう．壊れたときに気付けるように結果もバリデーションしましょう，とか書いてあったけど，メンテナンスできるのか．それか，意外とマークアップ変わらなくて壊れないもの? スクレイピングというと2007年くらいにPerlの人たちがCPANでYoutubeをダウンロードとかいって喜んで
『Rubyによるクローラー開発技法』を書きました - プログラマでありたい
勉強会やスライドで紹介していましたが、Ruby×クローラーという題材で、『Rubyによるクローラー開発技法』という本を書かせて頂きました。RubyとEmacsの鬼であるるびきちさんとの共著です。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る この本を書いた理由 そもそものキッカケは、るびきちさんのエントリーにある通り、SBクリエイティブの編集者さんが、クローラーの作成経験のある人を探していて、私の書いた「オープンソースのRubyのWebクローラー"Anemone"を使ってみる」を読んで打診してくださったというのが始まりです。 私自身も、Webからデータを収集して分析するということは、趣味として長年やってきました。一
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]
http://rubygems.org/gems/cosmicrawler ソースは、https://github.com/bash0C7/cosmicrawler gem install cosmicrawlerするとか、Gemfileにgem 'cosmicrawler'と書いてbundle installするとかした後、 require 'cosmicrawler' Cosmicrawler.http_crawl(%w(http://example.com/1 http://example.com/2)) {|request| get = request.get puts get.response if get.response_header.status == 200 } という感じにブロックを渡すだけで、デフォルトでは８並行でババッとクロールすることができます。 もしもっと平行数
![Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d81bedcb3ba405f608e549e2b685f27cb730ae8a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976357176%2F1550818887)
Mechanize再入門
久しぶりに Mechanize を触ったのでメモ プログラムからウェブサイトをブラウズするためのライブラリ。 以下を読めばだいたい分りそう。 mechanize-2.2 Documentation Nokogiri Ruby勉強会で話させて頂いてときのスライドで雰囲気は伝わるかと。 (APIが古すぎてコードとかはもう動きません) http://www.slideshare.net/Sixeight/its-mechanize-for-it-ruby-as-a-finder インストール $ gem install mechanize か source 'http://rubygems.org/' gem 'mechanize' を Gemfile に書いて bundle install しましょう。 Google で検索する例 require 'mechanize' agent = Mec
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
ant-eater.com - ant eater リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
サーバ管理者日誌 続・クロールとDoSの違いと業務妨害罪と
と書いたのだが、他の図書館でも、一度タイムアウトすると、同じCookieを持ってアクセスすると応答がなくなるという同様の現象が発生するところが見つかった。 気づいたのはたまたまだったのだが、 岡崎市立図書館と同じ、MELILを採用している図書館のリストが、 日本のソフト別OPACリスト[http://www.asahi-net.or.jp/~gb4k-ktr/indexjv.htm#melil] にあり、この中で検索ページが.aspになっているものでは同じ現象が発生する様で、発生条件もかなり緩く、 検索などでのタイムアウト発生 応答が遅かった場合のキャンセル 検索結果ページを閲覧していて、画面内の戻るボタン以外でページ遷移を行った場合 に、以降の応答がなくなるという症状が発生する様だ。 検索ページが.aspxになっているものでは、確認した範囲では発生を見ていないので、これは後に改修されたの
サーバ管理者日誌 クロールとDoSの違いと業務妨害罪と
#Librahack[http://twitter.com/search?q=%23librahack] の議論。多く登場する「スクレイピング」と書こうと思ったけれども、クロールで得たHTMLの後処理がスクレイピングだから、ここでは「クロール」対「DoS」とした。 そもそも、クロールとDoSは行っている側の目的に決定的な違いがある。 クロールを行う際は、クロールによって相手サーバの情報を取得することが目的だ。そのために、リクエストに対する応答を受け取って、そのまま保存するなり、何らかの加工（スクレイピング）を行って、情報を保存する。 情報を得るのが目的だから、サーバが落ちるのは困る立場だ。 一般的な作りとしては、ページのリクエストを出して、結果を受け取ったら、その場で解釈して、次にリクエストを出すページを決めるか、あるいは予め予定している次のページのリクエストを出す。この間に待ち時間を入れ
高木浩光＠自宅の日記 - 岡崎図書館事件について その1, DoS等で業務妨害罪とされた過去の報道事例, 山形の事件は悪意ある攻撃であったことを確認（21日..
■ 岡崎図書館事件について その1 5月26日にこんな報道があった。 図書館HPにアクセス3万3000回 愛知県警 業務妨害容疑、38歳を逮捕, 朝日新聞2010年5月26日朝刊 県警生活経済課と岡崎署によると、容疑者は、4月2日から15日にかけて、岡崎市中央図書館のホームページに、計約33,000回のアクセスを繰り返し、ホームページを閲覧しにくい状態にしたという疑いがある。（略） 同課によると、容疑者は1回ボタンを押すだけで、1秒に1回程度の速度でアクセスを繰り返せるプログラムを作っていたという。容疑者は同図書館の利用者だったが、目立ったトラブルは確認されていないといい、動機を調べている。 図書館にサイバー攻撃, 読売新聞2010年5月26日朝刊 県警は25日、インターネット関連会社社長を偽計業務妨害容疑で逮捕した。（略） 調べに対し、アクセスしたことは認めているが、動機については話して
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『Rubyによるクローラー開発技法』第1章正誤
新刊『Rubyによるクローラー開発技法』2014/08/25発売！
高木浩光＠自宅の日記 - Macっ娘ならオートメータ君つかいたおすわよね