PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
退屈なブラウザ作業はSeleniumにやらせようーーはじめてでもできるブラウザ操作自動化 | メルカリエンジニアリング
こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。 これまではモバイルアプリ・WebアプリのE2Eテストを中心に自動化をしていましたが、最近ではプロダクト部門・カスタマーサポート部門・コーポレート部門の業務自動化にも挑戦しています。 今回はSelenium WebDriver (以下 Selenium) を使って簡単にできるブラウザ作業自動化についてご紹介します。 10/25にGitHub JapanでLT発表した資料もありますので、合わせてご覧ください。 english-lt.connpass.com 意外と多い、ブラウザを使った繰り返し作業 社内の色々な職種・チームの方々とコミュニケーションをしていると、ブラウザを使った繰り返し作業が多く感じました。 例えば 社内で使用しているWebサービスのアカウントを社員に付与する Chartio(h
Goではじめてみたブラウザの自動操作 - Qiita
はじめに 面倒なWEBブラウザの定型作業を自動化したくて。 WEBブラウザの自動操作には定番のSeleniumを利用する。 Seleniumは主にウェブブラウザのテストに利用されているが、テスト用途以外でも利用はできる。 なおウェブスクレイピングが目的であれば、scrapeとかgoqueryなどを利用するほうが簡単。 それでもSeleniumを利用するのは、 実際のブラウザが利用できるという点であり、以下のような利点があると思っている。 IEなど特定のブラウザのみをサポートしているサイトの自動操作 ごりごりのJavascriptやFlashを利用されているサイトの自動操作 証跡として画面のスクリーンショットを取得できる 前提知識 WebDriverを介することで、スクリプトとしてJava,C#,Pythonなど多くの言語から利用できる ブラウザごとにWebDriverが用意されており、１つ
Selenium WebDriverでFirefox47を動かす方法 - Qiita
2016年07月03日追記 Firefox47.0.1でGeckoDriverを利用しない場合にFirefoxが動かない不具合が修正されました。 https://www.mozilla.jp/firefox/47.0.1/releasenotes/ Firefox47.0.1に併せてSelenium WebDriverのバージョンも上がりました。 Firefox47.0.1を動かすには、Selenium WebDriverのバージョンアップも必要なようです。 （少なくとも、Rubyでは2.53.4にする必要がありました。） http://www.seleniumhq.org/download/ Selenium WebDriverでFirefox47を動かすにはGeckoDriverが必要になりました。 https://github.com/seleniumhq/selenium/issu
Seleniumを利用してWEBの操作を自動化
※追記 Seleniumを直叩きするより、Capybaraを通して実行した方がいいかもしれない。 http://alpha-netzilla.blogspot.jp/2016/03/crawler.html ◆ 目的 Seleniumを利用してWEBのGUI操作(UI:User Interface部分)を自動化する。 ※GUIでのオペレーションを自動化するためにSikuliも最近ではよく使われる。 ただし両者は実装も利用用途も異なるため使い道は見極める必要がある。 ◆ 環境、事前準備 ・ Rubyのインストール 今回はRubyからSeleniumを操作するため、Rubyを使えるようにしておくこと。 インストール後、windows環境であれば以下からパスを指定する。 コントールパネル -> システムの詳細設定 -> 詳細設定 -> 環境変数 -> ユーザの環境変数 -> 変数 -> Path
How to Solve ElementNotVisibleException in Selenium Webdriver
You are here: Home / Basic Selenium / How to Solve ElementNotVisibleException in Selenium Webdriver Hello, Guys, Welcome back to Selenium tutorial, today we will see how to handle element not visible exception in Webdriver. I faced this exception number of times, I struggled a lot while searching solution, and finally, I got so many solutions to solve this exception. Before jumping to ElementNotV
Selenium Webdriver で ウィンドウ切り替えを追う - Qiita
Selenium Webdriver 小ネタ _target=blank で別ウィンドウ遷移時にSelenium Webdriverで追う方法について説明します。 使用言語：Ruby 結論 下記3行でウィンドウ切り替えできます。 window = driver.window_handles.last # ウィンドウ情報を取得 driver.close # 遷移元のウィンドウを閉じる。特に必要なければ記述の必要なし driver.switch_to.window(window) # 遷移先のウィンドウに遷移元のウィンドウ情報を移す Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Profiles for Firefox · Issue #2933 · SeleniumHQ/selenium
リダイレクトの警告
Element not visible Selenium/C#
RubyでSeleniumを使ってスクレイピング - Qiita