Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されていなかったrobots.txtについて、Googleがインターネット標準化にむけて動き出しています。 draft-rep-wg-topic-00 - Robots Exclusion Protocol https://tools.ietf.org/html/draft-rep-wg-topic-00 Official Google Webmaster Central Blog: Formalizing the Robots Exclusion Protocol Specifica

[mojimojikun]

robots.text への対応って色々解釈があるみたいで自作するのは面倒くさいなーと思ってたんだけど実装作ってくれてるのか。

[otchy210]

現実的な問題を元にした最大ファイルサイズ制限とか、実装も同時に公開するとか、Google が久々に良いインターネットを実践している感じする。

[nisisinjuku]

何度かいじったことが有るが、直書きしないでラジオボタンぽちぽち押したら生成とかでいいんじゃね？もしくは、サイト設営サーバの設定冒頭でクイズ形式で生成とかさ。