PhantomJSで簡単にログイン・スクレイピング・ページキャプチャ - Qiita
PhantomJSを使うと、ページのキャプチャを取ったり、スクレイピングが出来て便利ですね。 PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips こちらのページの解説がとてもわかりやすかったです。 自分も上記ページを元に、毎分Facebookにログインしてキャプチャ撮るツールとか作っていました。 途中、CasperJSの存在を知ってそれを使えばいいことに気付いたのですが、せっかくなので、掲載されてるサンプル改造したものを公開します。 下記は、Qiitaにログインし、キャプチャを撮り、フィードのタイトルをJSON形式でファイルに保存するサンプルです。 USER_ID = "qiitaのユーザ名" PASSWORD = "qiitaのパスワード" # initialize {{{ page = require("webpage").create() fs
Python+Selenium+PhantomJSが快適すぎる
Selenium便利なんだけど、ブラウザ立ちあげないといけないのはサーバーで使いにくくて不便だよなと思っていたのだけどPhantomJS使えることを知ったので早速遊んでた。なにやりたいかというとGoogle Patent Searchから特許ID抜き出したいのだけど、Python+Selenium+PhantomJSの組み合わせでできることがわかった。 from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get("https://www.google.co.jp/webhp?hl=ja&tab=ww&authuser=0#authuser=0&hl=ja&q=python") print driver.current_url time.sleep(2) driver.save_sc
[Linux]PhantomJSをインストールする - Qiita
PhantomJSをLunux(AmazonLinux)にインストールします インストールと言ってもバイナリDLして配置するだけでした 環境 確認したのは AmazonLinux 他のLinuxでもいけるんじゃないかと思います 手順 こちら から最新のものをDL(本記事記述時点(2014/08/27)の最新は1.9.7) $ cd ~/ $ wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.7-linux-x86_64.tar.bz2 解凍 $ cd /usr/local/src/ $ sudo tar jxf ~/phantomjs-1.9.7-linux-x86_64.tar.bz2 配置 $ sudo ln -s phantomjs-1.9.7-linux-x86_64 phantomjs $ sud
![[Linux]PhantomJSをインストールする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a25010d3ed155836fe9749e0f1723ee525cdbd23/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTGludXglNURQaGFudG9tSlMlRTMlODIlOTIlRTMlODIlQTQlRTMlODMlQjMlRTMlODIlQjklRTMlODMlODglRTMlODMlQkMlRTMlODMlQUIlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWVlNWViMWFhYjk4NmEwMTU4NjJiZmI3ZjA0M2JkYjBi%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa21hdHMlNDBnaXRodWImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPThjNmE3MTRmODFkMjE2NDM5NGJkNmRhNmFkY2VlMTQ2%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0c108bda6cad49f2b8c5a571c9cbd8d3)
ヨドバシ定期便を作った - おともだちティータイム
Amazon 定期おトク便大好きっ子の僕は定期便を 30 以上登録して、日常のあらゆるものを勝手に送ってもらう生活をしていた。 しかし、ここ 1 年くらい Amazon 定期おトク便の対象商品が減って (買い合わせ対象になると定期便で送れなくなる、一度の配送が 3000 円を越えていたとしても) いった結果、定期的に買うものを自動化できなくて凄い辛い思いをしていた。 そして今月ついに箱ティッシュが買えなくなり、なぜか 1890 円もする異常なティッシュを勧められるようになってしまった。 これは困った。多少高くても定期的に送られてくる便利さを見込んで使っていたのだけど、さすがに箱ティッシュに 1890 円払うつもりにはなれない。そこで Amazon 定期おトク便を全て解約した。 そして、ヨドバシドットコムの操作を自動化することを目標とした。 なお、自動化は、お手軽なツールで出来るものでは無く
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
PhantomJSのメモいろいろ - console.lealog();
ハマったとこ、先人の知恵のまとめ。 提供されるモジュール群は5つ phantom: そのもの FileSystem: ファイルに出力したり、依存ファイルの存在確認したり System: コマンドラインから引数取りたいなら WebPage: きっと主役なrequire('webpage').create()するやつ WebServer: まだ使わない方がよさそう おおまかな使い方は2パターン pageを使いまわす オーソドックスなやつかと。 PhantomJSのサンプルといえば！的な。 var page = require('webpage').create(); page.open('http://example.com', function(){ // do something.. page.evaluate(function(){ // do something... }); phan
Pass arguments with page.evaluate
I'm using PhantomJS page.evaluate() to do some scraping. My problem is that the code I pass to the webkit page is sandboxed, and so has no access to the variables of my main phantom script. This makes it hard make the scraping code generic. page.open(url, function() { var foo = 42; page.evaluate(function() { // this code has no access to foo console.log(foo); }); } How could I push arguments into
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Registered & Protected by MarkMonitor