Why is Slurp crawling my page? | Search for Desktop Help - SLN22600
Are you a webmaster looking for more info about the "Slurp" User-agent? We've got you covered. What is Slurp? Slurp is the Yahoo Search robot for crawling and indexing web page information. Although some Yahoo Search results are powered by our partners, sites should allow Yahoo Slurp access in order to appear in Yahoo Mobile Search results. Additionally, Slurp does the following: Collects content
ヤフーが新たにサポートした「Robots-Nocontent」って何だ？:渡辺隆広のサーチエンジン情報館 - CNET Japan
私たちは情報を識別する時に視覚的要素や過去の経験や知識を用いて自動的に情報の意味を判断することがあります。例えば新聞の1面を開いた時、どの範囲がひとかたまりの記事であるとか、どれが広告でどれが新聞名であるとか、文字を読まなくても判断できます。それが日本語で書かれていなくても、例えば英語やベトナム語であっても、「文字読めないけどこれがヘッドライン」などと推定を立てることができるわけです。 しかしながら視覚情報や知識や経験といったものに頼れない検索エンジンはそうはいかないのです。あるページを開いたとき、人間であれば明らかに「これは主トピックではない」といった情報も検索エンジンにはあたかもそれが重要な言葉のように捉えてしまい、検索クエリに対してまとはずれな答え(ページ）を表示してしまうことは多々あります。 例えばGoogleニュース検索で「アイレップ」と検索すると3番目（2007年5月6日18時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
