[B! web][crawler] tailtameのブックマーク

ICC-Crawlerについて

ICC-Crawlerは、ウェブ上を自動的に巡回してウェブページを収集するクローラと呼ばれるプログラムの一種です。ICC-CrawlerはNICT知識処理Ｇが運用しており、収集したページは研究目的以外では使用しません。我々はクローラが収集先ホストに迷惑をかけないよう細心の注意を払って運用をしております。万が一ICC-Crawlerの動作に問題がありました場合には、下記の連絡先にご連絡をいただければ直ちに収集を停止するなどの対処を行います。 <meta> タグを利用するクローラは <meta name="robots" content="nofollow, noindex">というタグがあった場合、nofollow(リンク解析を行わない)、noindex(このページを破棄する)という動作をします。ICC-Crawlerもこの規則に従っています。 robots.txt に書

tailtame 2014/01/28

web
crawler

リンク

『PHPでHTTPリクエストをしてみる』へのコメント

ブックマークしましたここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

tailtame 2010/11/22

「UA: H2C/1.0」で探して…これなんかな。存在しないURI叩いてくると思ったが超古いのであるな… via: http://nplll.com/mutter/archives/2010/05/bot_bots_on_nobodyplace_vol70_-_201004.php

web
crawler

リンク

http://quantaisil.s3.zmx.jp/nucleus/item_114.html

tailtame 2010/01/05

alexaもか…色々とあるんだよなぁ。

リンク

アクセス制限更新 − YodaoBot、ICC-Crawler | MAKIZOU.COM

Webサイトやブログを長く運営していると、多くのアクセスに困るぐらい見てもらう事が夢になるのですが、ただ単にデータ収集の為に、アグレッシブなアクセスで安定運営を脅かす輩がいます。効力のある抗議をする事も出来ないので、専守防衛。で、またアクセス制限をするお仲間としばらく来ていない輩の整理をいたしました。現在「.htaccess」でのアクセス制限設定値 SetEnvIf User-Agent “Baiduspider” AGENT no_log SetEnvIf User-Agent “NaverBot” AGENT no_log SetEnvIf User-Agent “psbot” AGENT no_log SetEnvIf User-Agent “iaskspider” AGENT no_log SetEnvIf User-Agent “Accoona-AI-Agent”