気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
it.srad.jpエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google、robots.txtの仕様のWeb標準化を目指す | スラド IT
Googleが、検索エンジンなどのクロールボット（クローラ）に対しクロール禁止などの指示を出すためのフ... Googleが、検索エンジンなどのクロールボット（クローラ）に対しクロール禁止などの指示を出すためのファイル「robots.txt」の仕様の標準化を目指すことを発表した（ドラフト案、ITmedia）。 robots.txtの仕様は「REP（Robots Exclusion Protocol）」や「Robots Exclusion Standard」などと呼ばれている。多くのクローラはこのファイルを確認してクロール頻度やインデックスの制御を行っているが、標準化されていないためにクローラによって解釈が異なったり、一部のクローラのみが認識するディレクティブが存在するといった状況になっていた。 あわせてGoogleはrobots.txtを解釈するためのライブラリ「robotstxt」も公開している。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
it.srad.jp
it.srad.jp
it.srad.jp
it.srad.jp
togetter.com
mainichi.jp
www.4gamer.net
anond.hatelabo.jp
togetter.com
www.cnn.co.jp
r7kamura.com
qiita.com/takuminoid
gigazine.net
www.itmedia.co.jp
www3.nhk.or.jp
note.com/dory111111
oshiete.goo.ne.jp
www.weblio.jp
bbs.kakaku.com
2019/07/05 リンク