PythonとPhantomJs CloudでスクレイピングしたデータをBeautifulSoupで解析

GASと同じように色々な関数があるので、Pythonでも同じような書き方で実行出来ることがわかりました。 GASの場合、この後の処理はJSON形式のパース、matchメソッドと正規表現を使用して目的の値を取得する、という流れでした。 Pythonの場合も同じように、とやってもいいのですが、Pythonにはサードパーティ製のライブラリが豊富にあるので、少し楽できる方法をご紹介します。 今回は、Beautiful Soupというモジュールを利用して、目的のデータを取得していきます。 前回の確認 Beautiful Soupを使う前に前回のおさらいです。 PythonとPhantomJs Cloudでスクレイピングするコードは下記のようになりました。 import json import urllib.parse import requests payload = {'url':'https:/

[moegg]

“HTMLドキュメントを解析するには、まず、HTMLドキュメントからBeautifulSoupオブジェクトを作成する必要があります。 この作業をBeautiful Soupのドキュメントでは、スープの作成と呼んでいます。（本当です！）”