Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ

はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast

[beatinaniwa]

久しぶりにブログ書きました

[wata_ori]

“義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピング”

[kkotyy]

もうスクレイピングはやりたくない。colspanとrowspanとの戦いに疲弊した。

[mytechnote]

[ スクレイピング]

[yumu19]

Scrapy Cloud便利そう。

[hacosato]

さいきんQiitaおもしろい！ これ使ったら、日々変わるランキングサイトの内容をほったらかしでストックしといて分析したりできるんじゃない♪♪♪（よくわかってない）

[thangnvbkhn]

crawler craw クローラ スクレイピング

[userhiro]

“Scrapy + Scrapy Cloud”、エクセルやPDF、画像ファイルなども取得できるんだろうか

[georgew]

大々的なクロールを伴う場合は使えそう。それ以外はbeautifulsoupで良いかなと。

[RabbitBit]

Scrapyもクラウドホスティングする時代なのか。

[sky-y]

スクレイピング（Webデータ解析）でクラウドホスティングできるとか、Pythonずるいw （RubyもHerokuあるけど）

[tanority]

スクレイピング

[cruller]

このくらい学ばないとな

[urza358]

python tutorial

[nilab]

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ

[yoichi-low]

5日前にオライリーのスクレイピングの本買ったばかりなのに。この記事で十分だ。

[gofue0723]

絶対読む

[monbran4989]

こんなんレベル低すぎ

[windish]

なんて便利そうな。面白いなー。

[kotosinokabu]

すげえ。。

[yoshitaka-sorich]

scrapy

[hatakazu93]

技術,python

[khtokage]

Screpy Cloudいいな。

[raimon49]

Scrapy Cloudなんて気の利いたサービスあるんだ。知らなかった。

[shinyorke]

Screpy Cloudの存在を初めて知ったそしてこれすごいなー

[mickn]

ようやくpython3に対応し始めたのか&Scrapy Cloud便利そう

[kote2kote2]

やってみよう

[kgrock]

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る

[itarenai]

良さそう

[mi_kattun]

Scrapy Cloud、Python 3対応したんだ

[psfactory]

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ

[masayuki5160]

あとで