タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

spiderに関するHamachiya2のブックマーク (2)

  • 今日の井原 - 都内某社で開催されたクローラ勉強会のスライドを公開します。

    技術書あげます えろい画像だけモザイク [読書]けなす技術 CatchPhraser(きゃっちふれいざー): スニペットとしてキャッチコピーを表示するblog検索エンジン AdWords appears everywhere! Cマガジン休刊 「オープンソースの全文検索エンジンの速度性能比較」のご紹介 日経コンピュータ誌の特集「IT関連学会の憂」を読んだ googleの新卒採用説明会に申し込んでみたよ [memo]OpenCVの顔認識機能を使う 自分自身をブックマーク Newzingo: tagをベースにGoogle Newsを閲覧するインタフェース Google Tip: "(ダブルクォーテーション)は閉じなくてもOK リンク見出し是非裁判の件 脅かされる人認証

  • 人間になりすますウェブ巡回プログラム

    人間になりすますウェブ巡回プログラム 2006年1月19日 コメント: トラックバック (0) Quinn Norton 2006年01月19日 ワシントンDC発――ウェブサイトを閲覧する訪問者には2種類ある。一方はあちこちのサイトを覗いて、画像に目を通し、リンクを見てあれこれと考え、ゆっくりしたペースでクリックする人間の訪問者だ。これに対し、もう一方のウェブ・クローラー(ウェブ自動巡回ソフト、スパイダーとも呼ばれる)は、自動的にページを読み取るプログラムで、『Google』(グーグル)などの検索エンジンなどから送り込まれる。さらに気味の悪いことに、悪意を持った攻撃者や競合他社、さらには電子メールアドレス収集をもくろむスパム業者から、こうしたクローラーが送られてくることもある。 それでも、幸いなことにサーバーログを見ればこの2種類の訪問者の区別は簡単につくので、サイト運営者にとって望ましく

    Hamachiya2
    Hamachiya2 2006/01/19
    人間がブラウザーを使っている場合と同じ挙動。AIと無作為抽出の中間にあたる解決法。以前は手動で探し出さなくてはいけなかったサイト上の脆弱性を運営者に知られずに自動的に見つけることが容易に
  • 1