robots.txtにおけるAllowとDisallowとSitemapの優先順位 - 45式::雑記robots.txtにおけるAllowとDisallowとSitemapの優先順位 投稿者 4n5 投稿日時 2009年12月11日23:19 カテゴリ Web コメント 0件 トラックバック 0件 検索エンジンなどのクローラを良き導くための指針ファイル、それがrobots.txtです。 その書き方の詳細は検索するなりrobotstxt.orgを見てください。 数あるrobots.txtの説明で気になったのは、AllowとDisallowの優先順位です。 どうやら当たり前すぎて説明されていないようです。 記述例の効果は、Googleウェブマスターツールでテストしました。 なのでこれから説明する動作はGooglebotだけにしか通用しない可能性があります。 優先順位を説明する前に、記述順序について説明します。 記述順序による効果の違いはなし User-agentが一行目であれば、それ以降の記
