どのようにしてGoogleは重複URLを検出し正規化しているのか？

[レベル: 上級] Google の Gary Illyes（ゲイリー・イリェーシュ）氏と John Mueller（ジョン・ミューラー）氏、Martin Splitt（マーティン・スプリット）氏の 3 人が『Search Off the Record』というタイトルで SEO をテーマにしたポッドキャストを配信しています。 エピソード 9 では、重複コンテンツの処理についてゲイリーが詳しく説明しました。 Google 検索の内部の動きに関心がある人にはとても興味深い内容です。 この記事で内容を完結にまとめます。 Google が重複を検出し正規化する仕組み 重複コンテンツの処理は次の 2 つのプロセスで成り立っています。 重複検出 正規化 それぞれを順に説明します。 重複検出 重複検出は、URL は異なるけれど中身が同一のページを識別するプロセスです。 同じあるいはほぼ同じとみなしたペー

[s-supporter]

『チェックサムが同じかもしくは類似している URL はクラスタリングしてまとめられます』SimHashという手法なら類似性は判別できるということね。