[B! x-robots-tag] t-w-oのブックマーク

t-w-o id:t-w-o

x-robots-tagに関するt-w-oのブックマーク (2)

クローラーとインデクサの制御 – 低価値のURLを除外するSEO
サイト運営者がクローラーとインデクサを制御する指示を出すことで、検索結果に表示されたとしても検索者に対してそれほど価値を提供しないページやファイルについて、あらかじめ検索結果に表示されることがないようにしておくことができます。これは検索者の体験を阻害しないようにするとともに、検索エンジンから低評価を受けないようにするための対策です。クローラーとインデクサを制御する理由クローラーの制御とは、特定のURLをクローラーからブロックしたり、またはクロールはさせても検索結果に表示させないようにするなど、サイト内のコンテンツを検索エンジンがどのように取り扱うべきかの指示を明示的に行うことをいいます。現在のクローラーは非常に高いクロール能力を持っており、検索対象としてインデックスするかどうかを別にすれば、公開されているほとんどすべてのURLをクロールすることができます。このことがSEOにとって不利に
t-w-o 2012/10/06
おお、日本語で一番詳しくて正確なまとめ。

nofollow

robots.txt

x-robots-tag
リンク
X-Robots-Tagの使い方・記述方法
[レベル：上級] 今日は、X-Robots-Tagの使い方・書き方について説明します。新しい情報でもなんでもないのですが、調べごとをしていてたまたまX-Robots-Tagに遭遇して、きちんと記事にしていなかったことに気付き忘備録の意味も兼ねて書いておくことにします。 X-Robots-Tagとは、クローラの動きを制御するときに用いるrobots meta タグを、HTMLドキュメントではないコンテンツのHTTPヘッダーに含めるために使う仕組みです。たとえば、ウェブページを検索結果に表示させたくないときは、noindex robots meta タグを使います。しかしXMLサイトマップやPDFドキュメントにはmetaタグはありません。したがってnoindex robots meta タグを記述するとができません。こんなときに使うのが、X-Robots-Tagです。 XMLサイトマ
t-w-o 2012/08/12
x-robots-tag

noindex

crawl

HTTP Header

SEO
リンク
1