この記事は クローラー/Webスクレイピング Advent Calendar 2016 19日目の記事です。 最初に言っておくと、mitmproxy はスクレイピングツールでもクローリングツールでもありませんが、これをスクレイピングに活用するのが今回の記事の趣旨になります。 mtimproxy という最終兵器 mtimproxy は名前の通りプロキシーで、man-in-the-middle proxy の略だと思われます。Python 製の OSS です。 図で書くと、次のようなものです。いわば、自分で自分に中間者攻撃をするようなプロキシーのイメージでしょうか。 自分で書いてみて、あまりに意味のない図だったので少し驚いていますが、mitmproxy を使うと、 外部サイトに送るリクエストの内容をフックして、加工できる 外部サイトから届くレスポンスの内容をフックして、加工できる ことができる