クローラーとインデクサの制御 – 低価値のURLを除外するSEO

サイト運営者がクローラーとインデクサを制御する指示を出すことで、検索結果に表示されたとしても検索者に対してそれほど価値を提供しないページやファイルについて、あらかじめ検索結果に表示されることがないようにしておくことができます。これは検索者の体験を阻害しないようにするとともに、検索エンジンから低評価を受けないようにするための対策です。 クローラーとインデクサを制御する理由クローラーの制御とは、特定のURLをクローラーからブロックしたり、またはクロールはさせても検索結果に表示させないようにするなど、サイト内のコンテンツを検索エンジンがどのように取り扱うべきかの指示を明示的に行うことをいいます。 現在のクローラーは非常に高いクロール能力を持っており、検索対象としてインデックスするかどうかを別にすれば、公開されているほとんどすべてのURLをクロールすることができます。このことがSEOにとって不利に

[tatsunori_tachiki]

http://bit.ly/1adMmeC

[t-w-o]

おお、日本語で一番詳しくて正確なまとめ。

[moromoro]

X-Robots-Tag知らんかったお恥ずかしい