Scrapy Cloudでスクレイピングした成果物をS3にアップロードする - Qiita

はじめに 以前、勉強目的で、AWS lambda + API Gateway で郵便番号検索APIを作ってみたのですが、その郵便番号データはScrapyでスクレイピングし、S3にアップロードして利用していました。 今回は、そのプロジェクトをScrapy Cloudにデプロイして定期スケジュール実行するまでにハマったポイントについて書きます。 Scrapy Cloudについては、下記のURLを参考にしました。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ Pythonでスクレイピング - Scrapy入門最初の2歩目 - Qiita 全体のワークフロー 全体のワークフローを図にすると下記のようになります。 scrapinghubにデプロイするまで scrapyのプロジェクトを作成してから、scrapingh

[kent-where-the-light-is]

“scrapinghubにデプロイするまで scrapyのプロジェクトを作成してから、scrapinghubにデプロイするまでは、下記のような流れになります。 scrapyプロジェクトを作成 $ scrapy startproject {your project} ローカルで実装 ローカルでスクレイ