ChatGPTのウェブクローラはGPTBot。robots.txtでブロック可能[レベル: 上級] 管理するサイトのコンテンツを ChatGPT に利用されるのを防ぐために、ChatGPT が運用するクローラの GPTBot を robots.txt でブロックできます。 ChatGPT のウェブクローラは GPTBot ChatGPT の開発/提供元である OpenAI は、ウェブクローラに関係する技術ドキュメントを最近新たに公開しました。 OpenAI が使用するクローラのユーザーエージェント (UA: User Agenet) は GPTBot です。 完全な UA 文字列は次のとおりです。 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) GPTBot の用途は次のとおりです。 Web pages craw
