ウェブクローラーとは？ Googlebotにコンテンツをクロールさせる方法

[レベル: 中級] Search Off the Record ポッドキャストのエピソード 70 では Google の Gary Illyes（ゲイリー・イリース）氏と Lizzi Saasman（リジー・サスマン）氏、そして SEO の専門家でウェブ開発者でもある Dave Smart（デイブ・スマート）氏がウェブクロールの仕組みと Googlebot の動作について解説しました。 この記事で主要点を紹介します。 ウェブクローラー：検索エンジンだけのものではない ポッドキャストは、クローラーがウェブサイトから情報やリソースを取得し、インデックス化やランキング付けを行うソフトウェアであるという説明から始まります。 クローラーはインデックス化とランク付けのために、検索エンジンによって使われるソフトウェアプログラムです。 ウェブクローラーは検索エンジンだけでなく、様々なツールやアプリケーショ

[ONOYUGO]

“主に Fetcher（フェッチャー）と Controller（コントローラー）、Scheduler（スケジューラー）という3つの要素から構成”←ここがボンヤリとしか分からない。