Robots.txtで秘密がバレる!? [ホームページ作成] All AboutRobots.txtで秘密がバレる!?サーチエンジンのロボット向けに用意する robots.txt が原因で、秘密のページの存在がバレてしまう可能性があることに気付いていますか？ バレる原因と、バレないようにする対策のご紹介です。 robots.txt の位置 ロボット型サーチエンジンのロボット（クローラー）に、情報収集して良いかどうかを指示する手段としては、 (1) HTML中に meta タグを使ってファイルごとに指示する方法(※1)と、 (2) 「robots.txt」というファイルを使ってサーバ全体分を一気に指示する方法 ……の2つがありますね。 「robots.txt」ファイルは、ロボット（クローラー）に読ませるために用意するファイルですが、URLを直接指定するなどしてアクセスすれば、通常のブラウザでも読むことができます。 適当なウェブサイトのURLに続けて(※2)「robots
![Robots.txtで秘密がバレる!? [ホームページ作成] All About](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f530daf3cb408d6b6a0ba6f38ed7ccece36cffc/height=288;version=1;width=512/https%3A%2F%2Fimg.aacdn.jp%2Faa%2Fcommon%2Fogp300_300.png)
