1秒に1リクエストするクローラーは常識的か : mwSoft blog

某事件に関連して、自分がクローラーにスリープ時間を入れる際に考えていることを晒してみる。 私はクローラーを作る時は、YahooとかGoogleくらいの規模のサイトが相手なら3～5秒スリープ（Googleにはたまに怒られる）、中規模のサイトは15秒スリープ、普通にブラウザで見るだけで「重いなぁ」と感じるようなサイトや、日にPVが1万もなさそうな小規模のサイトは20～30秒スリープしてピークタイムと思しき時間は処理を止める設定にしていました。 また、実行する時間帯を気にしなくても良く、且つ1日に行ないたいリクエスト数が少ない場合は、夜中のうちに走らせることが多いです。1日1000reqでいいならAM2時から15秒スリープで走らせれば明け方には処理が終了します。寝る前にキックして、朝起きたら終わってるというのが1つのパターンです。日本のサービスならその時間帯はサーバの負荷はスカスカのはずなので、

[t_mimori]

面白い上に勉強になる

[frkw2004]

WEBサービスでは「何回/秒のリクエストに耐えられないといけない」という基準はないのでしょうか？

[TFRT]

「このクローラー作ったヤツは百度くらい死ね」

[Lhankor_Mhy]

「このクローラー作ったヤツは百度くらい死ね」に百度笑ったｗ

[ahya365]

「名前は伏せておきますが（中略）このクローラー作ったヤツは百度くらい死ね」

[FTTH]

個人運営の自宅サーバなら過大かもだが、図書館公式サイト相手で過大という判断はしないなー。（だから今問題になっている）

[jorira]

思いやりは必要だよね。