robots.txtにおけるAllowとDisallowとSitemapの優先順位 - 45式::雑記
robots.txtにおけるAllowとDisallowとSitemapの優先順位 投稿者 4n5 投稿日時 2009年12月11日23:19 カテゴリ Web コメント 0件 トラックバック 0件 検索エンジンなどのクローラを良き導くための指針ファイル、それがrobots.txtです。 その書き方の詳細は検索するなりrobotstxt.orgを見てください。 数あるrobots.txtの説明で気になったのは、AllowとDisallowの優先順位です。 どうやら当たり前すぎて説明されていないようです。 記述例の効果は、Googleウェブマスターツールでテストしました。 なのでこれから説明する動作はGooglebotだけにしか通用しない可能性があります。 優先順位を説明する前に、記述順序について説明します。 記述順序による効果の違いはなし User-agentが一行目であれば、それ以降の記
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blekko.com/
