大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
Opalex
ランディングページデザインリンク集
タグでつながるマルチメディア型CGMポータル “TAGGY” [ タギー ]![タグでつながるマルチメディア型CGMポータル “TAGGY” [ タギー ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/2230e0eff60b2d887a7e10ffddb7c7bde627f3d1/height=288;version=1;width=512/http%3A%2F%2Fbiz.taggy.jp%2Fimg%2Ffb_200x200.jpg)
