実践/現場のPythonスクレイピング - Qiita

!! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow

[fashi]

枯れた技術ノウハウをまとめているだけで最新というのとはちょっと違う感じ

[dorokei]

スクレイピングの話ではじめにrobot.txtの話をしないのはだめだろ。あとreCAPTCHA突破はグレーでも何でもなくアウト。相手のサーバーへの負荷も全然考えていないし悪質。

[suzukiMY]

ChromeDriver reCAPTCHA

[DustOfHuman]

“Wait”

[yarumato]

“サイトを開いた後にtime.sleep()で待たないwait.until()関数。パスワード突破方法、reCAPTCHA突破方法、無限スクロール系突破方法。SeleniumでChromeDriverを操作。BeautifulSoupでHTMLから情報抽出”

[buhoho]

htmlunitとかでいいのでは

[kazoo_net14]

こういうのは定期的によむことにしてる

[prozorec]

「ブラウザを起動しないでスクレイピング」はフォアグランドにブラウザが出てこないだけで、ブラウザは起動していると思うのだが、違うのだろうか？

[ishideo]

beautifulsoup][chromedriver][scraping][qiita][recapture][lazy-load]

[miho-satoh-satomi]

python selenium 2019

[HHR]

なんかPHPを思い出すな。

[kkobayashi]

予想以上に重量級だった。。だいたいの場合はseleniumなしでも行けるんじゃないかな。pythonは嫌いだけどbeautifulsoupは便利

[temcee]

スクレイピング、最近やってないのでメモメモ

[RabbitBit]

Seleniumのdriver.execute_scriptは便利。既存のaタグのhref属性を書き換えてクリックさせる事で、任意の画面に、同一ドメインのリファラ込みで、クリックイベントを起こしながら、遷移する事にも使える。

[hatakazu93]

技術

[cateching]

“いかがでしょうか？” アウト！