Python: Scrapy と BeautifulSoup4 を使った快適 Web スクレイピング

テクノロジーカテゴリーの変更を依頼記事元:

momijiame.tumblr.com

13 usersがブックマークコメント

記事へのコメント1件

注目コメント
新着コメント

ottonove python, プログラミング, 情報整理

2016/11/22 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=http%3A%2F%2Fmomijiame.tumblr.com%2Fpost%2F114579225706%2Fpython-scrapy-%25E3%2581%25A8-beautifulsoup4-%25E3%2582%2592%25E4%25BD%25BF%25E3%2581%25A3%25E3%2581%259F%25E5%25BF%25AB%25E9%2581%25A9-web-%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AC%25E3%2582%25A4%25E3%2583%2594%25E3%2583%25B3%25E3%2582%25B0" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="http://momijiame.tumblr.com/post/114579225706/python-scrapy-%E3%81%A8-beautifulsoup4-%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E5%BF%AB%E9%81%A9-web-%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0">Python: Scrapy と BeautifulSoup4 を使った快適 Web スクレイピング</a><a href="https://b.hatena.ne.jp/entry/momijiame.tumblr.com/post/114579225706/python-scrapy-%E3%81%A8-beautifulsoup4-%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E5%BF%AB%E9%81%A9-web-%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0">はてなブックマーク - Python: Scrapy と BeautifulSoup4 を使った快適 Web スクレイピング</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Python: Scrapy と BeautifulSoup4 を使った快適 Web スクレイピング

前回 BeautifulSoup4 を単独で使ってスクレイピングする方法について記事を書いた。 Web スクレイピング... 前回 BeautifulSoup4 を単独で使ってスクレイピングする方法について記事を書いた。 Web スクレイピングは主にクローリングとスクレイピングの二つのパートに分かれていて、BeautifulSoup4 は後者に特化したパッケージだった。今回は、Scrapy というフレームワークを使って、前者のクローリングも含めてやってみよう。まずは今回使用する Scrapy と BeautifulSoup4 をインストールする。ちなみに Scrapy は現時点で Python 3 対応が完了していないので、ここからの作業は全て Python 2.x 系の環境が必要になる。また、今回の内容には不要だけど、いちいち出る警告を消したいので service_identity も一緒にインストールしておく。 $ pip install scrapy beautifulsoup4 service_i