Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 読んだ - hitode909の日記

Rubyでインターネットを巡回する本． いちばん簡単なのだと，Wgetで再帰的にダウンロードしてみましょうとか，Anemoneっていうクローラ作るためのライブラリとか，ThreadやEventMachineで並列に動かすとか． あとは，Rubyだからgemの便利グッズが紹介されていて，一番よかったのは，koalaっていうfacebookにアクセスするためのライブラリで，キラキラネームでまぶしい． 気になったのは，けっこうHTMLをXPathとかで取り出してスクレイピングしていることで，こういう方法だとしばらくすれば壊れそう．壊れたときに気付けるように結果もバリデーションしましょう，とか書いてあったけど，メンテナンスできるのか．それか，意外とマークアップ変わらなくて壊れないもの? スクレイピングというと2007年くらいにPerlの人たちがCPANでYoutubeをダウンロードとかいって喜んで

[Sixeight]

著者曰く、Kimono 使いましょうということでした。

[dkfj]

クローラーを作るより、たちの悪いクローラーの襲来で困った経験の方が多かったりします

[mas-higa]

"メンテナンスできるのか" するしかないんでしょうね

[kitokitoki]

僕も読みました。Ruby を使わない人でも、いろんなクローラの作り方の参考になるのではないかと思いました。いろんなアプローチ、完成度があることが見て取れるところもよかったです。