エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
LinkSeeker スクレイピングフレームワーク - Practice of Programming
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LinkSeeker スクレイピングフレームワーク - Practice of Programming
最近、スクレイピングすることが多かったので、面倒くさくなって作りました。まだ、いろいろ途中ではあ... 最近、スクレイピングすることが多かったので、面倒くさくなって作りました。まだ、いろいろ途中ではありますが。 初Mouse、初git、初githubなんで、なんか変なことしてたらすみません。 http://github.com/ktat/LinkSeeker/ スクレイピングするときは、以前書いてますが、下記のような処理をしています。 URLのページを取得する (URLのページを保存) スクレイピングする (スクレイピングしたデータを保存) データをDBに入れたりする これを、各クラスにばらけさせました。 LinkSeeker::Getter (URLのページ取得) LinkSeeker::HtmlStore (取得したページの保存) LinkSeeker::Scraper (ページのスクレイピング) -- 実装は継承したsubclassで LinkSeeker::DataStore (スク