AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor

これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo

[syou6162]

めっちゃ真似したい

[riywo]

とても良いユースケースですね！

[fujya]

Fargateの良い使い方

[nekoruri]

処理に見あった実行環境をイベントドリブンで接続したお手本みたいな事例

[aipacommander]

いまからやる

[sakidatsumono]

クローラー作る予定なのでブクマ

[psfactory]

AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor