Perl、PHPでGooglebotを一定の確率ではじく

Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設定しても ある回数よりも下がらないしで困っていました。 アクセス禁止にすれば完全解決なのですが、 それにより検索されなくなるのはファインダビリティが下がって嫌なので、 とりあえずランダムで 503 を返すことで対処しました。 ときどき503が出ることにより、しばらくするとGooglebotが 「サーバが混んでいるんだな」と思ってくれるみたいで、 結果としてクローラのアクセス数が激減、かつ、検索結果

[hiromark]

一応メモ。

[webmarksjp]

google

[yumatsumo]

どうなんやろ

[yohjizzz-backup]

Googleのクローラ(Googlebot)によるアクセス負荷の回避策。

[karronoli]

おもしろい。

[kasahi]

googleさんに巡回されるようになったら試す

[as365n2]

php&perl

[zetamatta]

botに「503 Server Temporary Unavailable」を返すことにより、サーバに負荷がかかっていることを通達するという技

[saladdays]

サーバー負荷を減らす一つの方法として。

[hiro_y]

googlebotにランダムで503を返す→サーバ混んでる→アクセス減る。

[tyki]

クロール率の制御目的。なるほどね。

[naney]

「『サーバが混んでいるんだな』と思ってくれるみたいで……」