robots.txt とは？ - とほほのWWW入門robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。 ただ、この指定は強制的なものではなく、この指定を行っても検索してしまう検索エンジンはあるかもしれません。goo、Google、Lycos は大丈夫のようです。 robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。 ○ http://www.xxx.zzz/robots.txt × http://www.xxx.zzz/~tohoho/robots.txt robots.txt の中には次のように記述します。これは、すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止するものです。 User-a
『http://mdn.mainichi.jp/robots.txt』へのコメント
http://mdn.mainichi.jp/robots.txt
