untitled
尾内研クローラ勉強会 第一回レジュメ written by Shinsuke Ihara 本日のお品書き 1.導入 ・クローラってなに？ -クローラとは -世の中にはどんなクローラがあるか ・なにが難しいの？ -もっとも単純なクローラ -もっとも単純なクローラではどこがだめか ・さらにその先にある問題 -google のクローラ -ハードウェアと OS -Web の広大さ、そしてその「構造」について ・クローラに求められる振る舞いとは？ -大前提 ∼クローラは慎み深くなければならないということ -robots.txt を尊重する -必要なものだけを適切な頻度で取得する ・クローラを作ったら？ -名前を付けよう -User-Agent を設定しよう -Web 上にページを作ろう -クローラを登録しよう -なぜこんなことをするの？ ・クローラについてより深く学ぶには 2.JSpide
Manageability - Open Source Web Crawlers Written in Java
You are here: Home » blog » stuff » Open Source Web Crawlers Written in Java I was recently quite pleased to learn that the Internet Archive's new crawler is written in Java. Coincindentally, I had in addition to put together a list of open source projects for full-text search engines, I put together a list of crawlers written in Java to complement that list. Here's the list: Heritrix - Heritr
JSpider - the Open Source Web Robot
JSpider is: A highly configurable and customizable Web Spider engine. Developed under the LGPL Open Source license In 100% pure Java You can use it to : Check your site for errors (internal server errors, ...) Outgoing and/or internal link checking Analyze your site structure (creating a sitemap, ...) Download complete web sites Any task you want, if you write a JSpider plugin. Our latest versions
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 情報検索アルゴリズム: 研二,北, 和彦,津田, 正幹,獅々堀: 本
