404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
2006年10月28日22:30 カテゴリTips クローラにしかとシカトしてもらう50の方法 というわけで備忘録代わりに。 Apache: The Definitive Guide [邦訳:Apacheハンドブック] [を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion Standard - Wikipedia, the free encyclopedia http://www.dan.co.jp/robots.txt ちなみに最後のワイルドカードを
My Life Between Silicon Valley and Japan - すべての本がスキャンされて「あちら側」に格納されて検索できるようになったら
Kevin Kellyが刺激的かつ長文の論考をNew York Times Magazineに寄せた。 「Scan This Book!」 http://www.nytimes.com/2006/05/14/magazine/14publishing.html このコンテンツはいまは無料で読めるが、しばらくすると有料になってしまうので、興味のある人は早く読んだほうがいい。 アマゾンやグーグルらが推進している「古今東西すべての本をスキャンしてしまうプロジェクト」の進展がもたらす今後を展望したものである。 冒頭でBrewster Kahleのこんな言葉が引用されている。 Brewster Kahle, an archivist overseeing another scanning project, says that the universal library is now within r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
