あなたの知らない鬱陶しいWebクローラーに立ち向かう方法

おことわり 技術側の話は少ないです。 本記事の内容を真に受けた結果発生した損害などの責任は負いませんのでご了承ください。 まえがき. 本記事のターゲット読者について 継続的に治安の悪いWebクローラーから大量にアクセスされていて悩んでいる人 タイトルに釣られて興味本位で見に来た人 鬱陶しいWebクローラーの開発者 継続的に 不定期ではなく一定のパターンで定期的にアクセスがあることを指します。 毎日、毎時、毎分、毎秒など。 治安の悪い いわゆるWebクローラー運用の「お作法」から道を外れていることを指します。 robots.txt無視、UA偽装、非常に短い時間でのバーストアクセスなど。 大量に Webクローラーからアクセスされていることを察知出来るほどのある程度まとまったアクセス量があることを指します。 未知のWebクローラーからWeb上の資源を守るのは非常に困難です。 第1部. 振る舞いか

[khei-fuji]

面白い。

[digitalglm]

あなたの知らない鬱陶しいWebクローラーに立ち向かう方法 - Qiita: おことわり 技術側の話は少ないです。 本記事の内容を真に受けた結果発生した損害などの責任は負いませんのでご了承ください。 まえがき.…

[shogo_okamoto]

すごく良い。読んでてドキドキしました。迷惑な非人間には偽データを返す。しかし、やっぱり、不毛ですよね…

[riocampos]

『結論として攻撃側は相手にクローラーであると認知されないようにするのと同じように、防衛側も相手にクローラー対策をしていることを認知されないように対策をするということが重要です。』