ウェブアプリケーションのJSのテストするのにCasperJS使ったら便利だった． CasperJSはPhantomJSにテスト用ユーティリティがついて便利になったやつ． JS，MVCできれいに書いてると，Modelの単体テストとかできるけど，昔ながらの感じだと，ここをクリックしたらこれが表示されること，みたいなテストを書くことになる．けどライブラリとかいろいろあってどれを使えばよいか分からなくて敷居が高い．CasperJSを使ったらこれだけで完結してテスト書ける． PhantomJSは単なるブラウザだけど，CasperJSはテストのフレームワークとか，DOMのテスト関数とかがついてる． 非同期なタスクの実行の仕組みも入ってて，casper.thenっていうのを順番に書いていくと，順番に呼んでくれて，click()して，casper.thenしたら，ページ遷移したら次のページに移動してる．ス
ログインが必要なページでもサクサクっとスクレイピングしちゃう「CasperJS」 | astronaughts.net
Titanium 以外のこと書くの久しぶり ども、最近 Titanium mobile と同じ釜の飯を食った仲レベルの仲良しっぷりを発揮している、ボクです。そんなボクですが先日初仕事となる ChatWork のバージョンアップ版がリリースされました。いやはや、めでたい。 なのでいろいろ Titanium mobile について書きたいことがわんさかあるんですが、ここはちょっと寝かせておいて敢えて別の思考で行きたいと思います。 JavaScript でスクレイピングできちゃう超ハイカラなやつ iOS アプリ作ってて TestFlight 使ってるんですが API が用意されてなくてわざわざ Web サイトにログを見に行かないといけなく、なんかイイ方法ないかなと思ってスクレイピングを考えていたんですが、その中でこいつと出会いました。 CasperJS - http://casperjs.org
PhantomJS と CasperJS で複数ページを一括キャプチャする ｜ Tips Note by TAM
Web 制作をしているとページの表示確認やコンポーネントの洗い出しなどで、大量にキャプチャを撮ってきたい時があります。 しかしブラウザのエクステンションで1枚ずつ撮るのも面倒です。 そこで PhantomJS と CasperJS を使うとキャプチャを自動化することができるということなので、先達たちの情報を参考に、キャプチャしたいURLと想定するデバイスを CSV で管理して、楽にキャプチャがとれるものを作成しました。 PhantomJS と CasperJS とは PhantomJS ですが、グラフィカルな画面のないブラウザで「ヘッドレスブラウザ」と呼ばれるブラウザです。コマンドラインからブラウザの機能を使うことができ、フォームの操作やページの要素を取得することができます。よく CI ツールと組み合わせて自動テストを行ったり Web スクレイピングで使われたりします。 PhantomJS
AWS Lambdaはサーバ不要のプログラムの実行エンジンです。インフラ側はAWSが管理するのですが、実行原理が解っていると思いの外に自由度が高いです。Shellやコマンドを同梱させれば動くし、依存するライブラリがなければAmazon Linux上でビルドして同梱させれば良いのです。その実例の1つに、Lambda+PhantomJSがあります。PhantomJSは、ブラウザ不要で画面描画ができるツールです。リンクのクリックやボタンの押下・フォームに入力も出来るので、ログインが必要なページの情報を取ってくるということやスクリーンショットを取るといったことも可能です。LambdaとPhantomJSを組み合わせてお手軽スクレイピングをしてみましょう。 プロジェクトの用意 Github上にビルド済みのライブラリ込のプロジェクト（phantom-lambda-template）があるので、それを使
概要 CasperJSのテストをUI操作で生成してくれるChromeプラグイン github プラグイン 感想 簡単にテストを作成できる。 ちゃんと使うなら、これで大枠のテスト作成して手動で修正が良いかも。 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
React入れたらCasperJSのE2Eテスト壊れたのでPhantomJS2入れたらPhantomJSのユニットテスト壊れたのでwebdriverioでE2Eテスト書き直した話 - マルシテイア
これまで VanillaJS / jQuery で頑張ってたプロジェクトに React 入れて、Reactは最高！などと言っていたのだけど、E2Eテストが落ちている事に気づいた。 落ちたテストで画面キャプチャしたりして調べた結果、Reactコンポーネントを描画するところで落ちていた。 どうやらPhantomJS1系で見られる現象のようだった。 e2e - CasperJS で Reactjs のサイトをテスト - Qiita E2EテストにはCasperJSを使っていた。 Casper の dependencies は "phantomjs": ">=1.8.2" となっている。 PhantomJS の謎な挙動にはユニットテストでも散々苦しめられていた。 既に polyfill 幾つか入れて対処していたのだけど、良い機会なので別の道を模索してみよう、という話になった。 頑張ってPhanto
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました これでWebのUIテストが容易になりそうです。 WebアプリケーションのUI上のテストをするというのは大変です。そこでよく使われるのが操作を記録し、再現することでテストコードの大枠を生成してしまうという方法です。Seleniumでもそういった手法がよく使われています。 PhantomJSを使ったCasperJSというテストユーティリティがありますが、そのCasperJS向けのテストコードを生成してくれるのがResurrectoiです。 ResurrectoiはGoogle Chrome機能拡張としてインストールしますので、テストコードの作成が手軽です。 インストールするとアイコンが表示されますので、それをクリックします。 Resurrectioを使えばCasperJS向けのテストコ
CasperJSで画面キャプチャをとる
システムの画面キャプチャを大量にとる必要があり、とり直しが発生しうることを考慮すると、プログラマブルにキャプチャを取りたいなーとツールを探していると CasperJS というのが見つかったので簡易的な使い方をメモ。 CasperJS とは CaperJS は UI テスト向け高レベルの JavaScript フレームワークで、 PhantomJS(WebKit) SlimerJS(Gecko) という2種類のレンダリングエンジンに対応している。 以下のような用途に使える。 defining & ordering browsing navigation steps filling & submitting forms clicking & following links capturing screenshots of a page (or part of it) testing remot
CasperJSで動的ページをスクレイピング、あるいは毎月100円ゲットする方法について - そんな今日この頃でして、、、
厳密にはクローリングが任意のサイト上からHTML等のデータを取得する方法、スクレイピングが取得されたデータから必要な情報を抽出する方法らしいので言葉の用法としては怪しいけど、まあそこは気にせず。 CasperJSとは、JavaScript APIにより操作できるヘッドレスなWebKitブラウザであるところのPhantomJSをより簡潔な記述により操作可能にしたユーティリティである。 スクレイピングといえば古くは各言語のウェブアクセスライブラリ（PerlでいうLWPとかMechanize系とか）を用いていたが、これらはリクエストされたページのHTMLを静的な文字列として取得するだけであり、Ajax全盛な昨今のJavascriptを用いた動的に生成される要素を解析することはできなかった。 (↓そういや前にLWP使ったスクレイピングしてたこっちでも、それと思しき問題にぶつかった） そんなわけで各
概要 クジラ飛行机さんの本「JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック」で勉強中です。本を参考にして、Node.jsやCasperJSを使ったプログラムを試作してます。これに際し、デバッグで躓いたので、他の人でも参考になる可能性があると考え、メモを作成しました。 JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログ (2件) を見る Node.jsでのデバッグ Node.jsでも、通常のJavascriptと同様に、ステップ実行や、ブレイクポイントの設定等ができます。 node-inspectorのインストール npmコマンドでnode-inspectorをインストールします。 $ npm install -g nod
ここんとこのブログの題材として２週間ほどPhantomJSを触ってみましたが、これけっこう難しいです。JavaScript独特のイベント処理や、WebKitの仕組みうんぬんで、リンクをクリックするのにもハマったりします。 何かいい方法あるはず、、と調べてたら、やっぱりあるんですね。 CasperJS CasperJS is a navigation scripting & testing utility for PhantomJS, written in Javascript http://casperjs.org/ CasperJSは、JavaScriptで実装されたPhantomJSのユーティリティです。ざっくり以下のことができます。 ブラウザのナビゲーションステップを順に定義できる フォーム入力 リンクのクリック ページのスクリーンショット（画面の一部分だけもOK） リモートDOMの
CasperJSを使ってクローリングしながらキャプチャを撮りました。 node.jsでクローラを作成していたのですが、 画面キャプチャも撮りたかったので、CasperJSを使うことにしました。 casperjs.org CasperJSはPhantomJSを利用するためのライブラリです。 PhantomJSとはコマンドラインのWebブラウザで、画面表示のないブラウザです。 PhantomJSを使うと、コマンドラインからブラウザ操作をしたり、 画面キャプチャを撮ることができます。 PhantomJSはレンダリングエンジンとしてWebkitを使用しています。 インストール CentOS7に必要な依存関係をインストールしておきます。 # yum install freetype # yum install fontconfig 次にPhantomJSとCasperJSをグローバルインストールしま
人が操作するのではなくプログラムで Web ブラウザを操作する PhantomJS というツールがある。中身は WebKit。それをより簡単に使うためのツールが CasperJS である。 インストール方法 PhantomJS と CasperJS のふたつをインストールする。 Mac で Homebrew を使っている場合は次の一行で終了。 % brew install phantomjs casperjsWindows の場合は PhantomJS のダウンロードページ から phantomjs-1.9.7-windows.zip を、CasperJS から Download 1.1-beta3 (ZIP) を選択する。ダウンロードした ZIP ファイルを適当な場所に展開し、phantomjs.exe および casperjs.exe のあるディレクトリにパスを通す。 PhantomJ
CasperJSを使いコマンドラインからAmazon.co.jp で買い物するスクリプトでCoffeeScriptでコーヒーを買った - laiso
これ。アドレス帳の一番上の住所決め打ちとか危険な動作があるので各自持ち帰って使うように(使わない)。 標準入力にパスワード平文を渡しているのが気になったらpit みたいな仕組みでパイプしてやるのがよさそう。 無事コーヒーが買えたようです。やったー
AjaxなページもPhantomJS, CasperJS, SpookyJSでいい感じにクローリングできるようにしてSEOする
ajaxなページもクローラーに読ませたいですよね。 そこでPhantomJS, CasperJS, SpookyJSです。 簡単に説明するとこんな感じ casperJSをNodejsから使えるようにするやつ こういうことをしたい クローラーがアクセスしてきた時だけ、アクセスしたURLをSpookyJSサーバーに投げて、SpookyJSがそのURLにアクセスし、DOMを取得してからクローラーに返すってことをしたらよさそうです。 SpookyJSをインスコ SpookyJSはもちろんphantomJSとcasperJSに依存してるので、まずはこの２つをグローバルに入れる必要があります。 npm install phantomjs -g npm install casperjs -g 必ず -g オプション！ 次にプロジェクトのディレクトリで npm install spooky これしたら、O
Node.jsでうごくPhantomJSとCasperJSを使用したスクレイピング — Presentation Transcript Node.js でうごくPhantomJS とCasperJS を使用したスクレイピング 2012/11/02 Miu Kobayashi @miua 自己紹介 小林未宇 @miua http://miukoba.net• 株式会社ジーニーという会社で エンジニアをやっています。• Java 0.5年、ASP.NET 4年、PHP 0.5年• Node.jsは触って2週間くらいなので、 間違ってたらどんどん指摘して下さい。 今日の概要• サーバーでJavascript動かせるなら、最近 増えてきたリッチなWebサイトをわざわざ DOMエミュレートなんかしなくても、実 際にコマンドラインとかプログラムからブ ラウザ動かしちゃえば、Ajaxとかを多用し ている
ebrehault/resurrectio: CasperJS test recorder Chrome extension
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
CasperJSは、ヘッドレスブラウザのPhantomJSを使ってブラウザ操作やテストができるライブラリ。 WebテストのデファクトであるSeleniumやそのGroovyラッパーのGeb（これが一番おすすめ）に比べて、インストールが簡単で、動作の軽量なのが特徴。 以下のデメリットもありますが、軽いWebシステムには相性がよい。 クロスブラウザができない（PhantomJSベースなので当たり前） Gebと比べると気が利かない 入れ子が多くなって気持ち悪い（Coffee Scriptを使えばいい？） CasperJSのドキュメント インストール Macならコマンド一発。win用に簡単に説明。 参考：http://qiita.com/ledsun@github/items/d55e83d41a4435755fcd chocolateyのインストール コマンドプロンプトで以下を実行 参考：htt
CasperJS, a navigation scripting and testing utility for PhantomJS and SlimerJS
CasperJS is a navigation scripting & testing utility for PhantomJS and SlimerJS written in Javascript CasperJS is an open source navigation scripting & testing utility written in Javascript for the PhantomJS WebKit headless browser and SlimerJS (Gecko). It eases the process of defining a full navigation scenario and provides useful high-level functions, methods & syntactic sugar for doing common t
前回の投稿（CasperJSでWEBサイトの画面キャプチャを取得してみた）の続きです。環境構築の方法（Mac）については、前回の投稿をご覧ください。 はじめに とある事情で、Qiitaの Organizationページ(自社の) をWEBスクレイピングしました。 とある事情というのは、自社のブログ に、自社メンバーのQiita新着投稿をブログパーツ的に表示したかった。 Qiitaへゴリゴリ負荷をかけるものではないです^^; CasperJS は CoffeeScript をそのまま解釈してくれるので、今回は CoffeeScript で書いてみます。 ちなみに CasperJS は仮想ブラウザ？的に動いているので、対象ページが JavaScript 等で動的に描写されるページでも、スクレイピングできるはず..です。 今回の成果物 QiitaをWEBスクレイピングして、こういうブログパーツ（
Published Thu, 7th Mar '13 For a project I've been working on I needed a simple spider which would, given a start URL, recursively collect all the URLs it could find. In the past I've used the excellent PhantomJS headless webkit browser for automation, but writing complex navigation scenarios can be a bit long-winded. Enter CasperJS. Built on top of PhantomJS, it simplifies the process and provide
CMS にコンテンツが正しく移行できているかどうかを確認する作業が発生しました。そこでWebkit ベースのヘッドレスなブラウザである PhantomJSを操作したりテストをサポートしたりするユーティリティ、 CasperJSを利用して自動でチェックを行うことを考えてみました。 SSL 使用でログインが必要だったのですが、意図したチェックが上手く行えましたので、少しご紹介したいと思います。 サイトへのログイン まずサイトへのログインをどうするかですが、これは Casper モジュールの fillSelectors()を用いると簡単に実現できます。 試しに、 Facebookにログインして、自分のタイムラインに投稿をしてみました。 var casper = require("casper").create(); casper.start("https://www.facebook.com/"
NIJIBOX Advent Calendar の13日目の記事です。 はじめに 業務の中にはWEBサイトで毎日手作業で行うルーチンワークもあるかと思います。 簡単な作業でも、ブラウザを開いて、フォームに何かを入力して、ページ遷移するなど 毎回やっていたら面倒なことも、プログラムにしてしまえばコマンド１発で済んでしまいます。 そんな操作をプログラム化できるCasperJSの使い方を覚えたので、まとめて見ました。 導入編 インストールから簡単な使い方までの紹介です。実行環境はmacを想定しています。 CasperJSのインストール 公式サイトからダウンロードできます。npmがあれば以下のコマンドで簡単に導入可能です。
ブラウザ開かなくてもスクリーンショットが取れたり、スクレイピングができたりするCasperJS。 PhantomJSの上に乗ってるらしい。 Windows環境にインストールするのも簡単なのでメモ。 http://casperjs.org/ http://casperjs.org/installation.html CasperJS on Windows 1)PhantomJSのインストール 1-1)PhantomJSをダウンロードしてくる。 http://phantomjs.org/download.html phantomjs-1.9.1-windows.zipをダウンロード→解凍。 1-2)移動→リネーム→PATHを通す。 ・フォルダごとC:\PhantomJSへ移動してリネームする。しなくても多分OK。 ・C:\PhantomJSなり、PhantomJSディレクトリへPATHの設定を
はじめに 前回のエントリー「phantomjs/casperjsによるキャプチャー自動化」で簡単なキャプチャースクリプトを製作しましたがサイトによって背景色が黒くなってしまったりと、課題や改修すべきところがありましたので前回のスクリプトをベースに改修していきたいと思います。 （環境構築は既に済んでいる前提です。） 課題、改修点 ・サイトによっては背景が黒くなってしまう ＞jqueryを読み込んで背景色を書き換えます。 ・キャプチャーするファイルリストを外部ファイル化（csvファイル読み込みも） ＞jsonファイルの外部化だけだと簡単すぎるので、csvファイル読み込みのパターンも実装したいと思います。エクセルからキャプチャーリストを作成したり、website explorerからURLだけ引っ張ってきて連続キャプチャーしたりと使い勝手がよくなります。 ・キャプチャーした画像の保存先を変更した
以前に上げた「CasperJSを使ってあしあとポイントをちょろまかす話」のエントリが結構安定してアクセスされてて、 我ながら驚いていたりする今日この頃。 blue1st.hateblo.jp スクレイピングというジャンルが世間的にそんなに注目度が高いのか、 はたまた小銭チャリンチャリンなネタのウケが良いんだか… そんなわけで今回は対象サイトに修正が入ったのでそれに対応したという話と、おまけでDocker化した話。 具体的に どうやって対応していくかという方法論 に焦点を絞って書いてみようと思う。 前回のあらすじ 愛用している某書店サイトが「あしあとポイント」というサービスをやっていて、 これは所定のページにある「あしあと」ボタンを一日一回押下すると、 翌月買い物で使用できるポイントがもらえるというものだった。 怠惰な僕はバッチ処理で自動で押させてみようと考えたのだが、 どうやらこのボタンは
20190306 A Story about Visiting a Sturgeon Farm and Eating Sturgeon in Toyone...Typhon 666
GitHub - casperjs/casperjs: CasperJS is no longer actively maintained. Navigation scripting and testing utility for PhantomJS and SlimerJS
CasperJS Important note: the master branch hosts the development version of CasperJS, which is now pretty stable and should be the right version to use if you ask me. Users interested in a pretty stable, recent version working with PhantomJS 2.0 and newer should choose the packaged 1.1.0 and following releases. The 1.0 branch is now obsolete. Please note that it is only recommended if you need to
かわいいよおばけ。 でも、ものすごくぱわふる。 HARをつくる PhantomJSにはnetsniff.jsというサンプルが同梱されており、それをベースにCasperJSで動くように移植します。 参考：phantomjs/examples/netsniff.js at master · ariya/phantomjs · GitHub HARって？ HttpARchive のことです。 Fire bugやChrome Dev toolsのネットワークのパネルを開いて、右クリックで保存できたりもするアレです。 ページ容量やらリクエスト数、ロード時間などなどWebページのパフォーマンスを調べることができます。 詳しくは、このリンクがよさげ。 参考：Web Performance Power Tool: HTTP Archive (HAR) - igvita.com ディレクトリ構成 さてさて、
CasperJS は PhantomJS の機能を使って現在扱っているページに対して JS を差し込める。 var casper = require('casper').create({clientScripts: ['jquery-1.9.1.min.js']}); clientScripts にローカルの JQuery へのパスを指定する。phantom.incectJs() を使っているのでリモートのファイルは指定できない。 で、実際に使うには var url ='http://www.akb48.co.jp/'; var casper = require('casper').create({clientScripts: ['jquery-1.9.1.min.js']}); casper.start(url, function() { this.echo($(title).text(
最近は便利ツールを作るためのスクレイピングを実装中。 そこでJenkinsをCasperJSと連携させたりしているのだけど、一部のサイトではログイン処理がどうしてもうまくいかず、今回はBookmarkletとして作ることにした。 これが意外と便利だったので共有。 CasperJSでは要素を取ってくるのにCasperUtilsというのを使って find しにいく。 毎回プログラムで書いてCasperJSで実行して・・というのは面倒。 ということで提供されているのが、今回紹介するブックマークレット。 そのブックマークレットは本家のサイトで提供されているので、そちらから。 使い方 スクレイピングしたいページに行き、このブックマークレットをクリックします。 するとCasperUtilsがロードされた状態になるので、 後はChromeなりFirefoxのコンソールで __utils__.findAl
CasperJSがGecko(SlimerJS)にも対応していたので試してみたメモ - ハードコイルド・ワンダーランド
CasperJSはheadless browserを操作してテストやスクレイピングを行うことができるユーティリティセットです。 もともとはWebKitのheadless browserたるPhantomJSしか利用できなかったのですが、このたびv1.1-beta1からGeckoのheadless browserであるSlimerJSでも利用できるようになりました。 これまで「headless browserってWebKitだけだし…」という謎の理由で回避していたCasperJSですが、Geckoにも対応したので試してみました。というログです。便利ね、コレ。 試した環境は以下のようになります。 Windows 7 x64 PhantomJS v1.9 SlimerJS v0.8 CasperJS 1.1-beta1 Install １. PhantomJS PhantomJSのホームページか
GitHub - SpookyJS/SpookyJS: Drive CasperJS from Node.js
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
最近はサーバのメトリクス収集にPrometheus，その可視化の為のフロントエンドとしてGrafanaをハードに使っている．Grafanaは予想よりもはるかに格好良いグラフが生成されるのでやる気が出て良い．デモを触るとなんとなく温度感がわかると思う． そうしているうちに，これは便利なのでサーバのメトリクス以外の情報も入れてみましょうという発想があり，サービスのKPIに関するような情報も入れ始めている． とまあここまでは良いのだけれど，そうやって収集したデータも，格好良く可視化したグラフも，人に見られなければ一切の意味が無いのでそうした無意味を避けるためにデイリーでグラフを社内チャットに放流することにした． という事になるとGrafanaで描画したグラフを画像としてエクスポートする必要が出てくる． Grafanaにはグラフを画像としてシェアする機能があるのだけれど，これはブラウザをポチポチす
『CasperJSでカスタムのアサーションを作る』
このアメブロはFrontrend Advent Calendar 2013 24 日目の記事です。 F.Y.I. 今日はクリスマス・イブだよ。 CasperJSでカスタムのassertionを作る 独自のアサーションをCasperJSで使いたい。 色々調べてみては見るものの、これといった参考になるようなものがなかったので、いい機会なのでちょっと試しにやってみる。 今回やりたいことはすごく単純で、自前のAssertionクラスを作って、テスト時に読み込んで使いたいだけ。 なるべくCasperJSのTesterモジュールが最初から持っている機能に乗っかる感じにして、判定部分だけを自由に拡張できればなよいなという感じで作ってみた。 CasperJSの拡張方法は 公式ドキュメント http://docs.casperjs.org/en/latest/writing_modules.html ここら
以前、CentOSに最新のPhantomJSをインストールしようとするとエラーが発生するという記事を書きました。shinsuke789.hatenablog.jp その後、さらに調べてみると古いバージョンのバイナリが配布されていることがわかり、これをインストールすると問題なく使用できたので、その時の手順を紹介します。 環境 OS CentOS 6.4 PhantomJS 1.9.8 CasperJS 1.1.0-beta3 手順 PhantomJS 1.PhantomJSのBitbucketよりバイナリファイルをダウンロードします。そのままwgetすると長いURLになってしまうので、別名で保存します。 # 保存先に移動する cd /usr/local/src # バイナリをダウンロードする wget https://bitbucket.org/ariya/phantomjs/downloa
はじめに 先日、サイトの特定情報をCSVに出力するスクリプトを書きました。 今回はスマホ（に限らずですが）画面のキャプチャを連続でできるようなJavaScriptを書いてみました。 こんな簡単に実装できるなんてCasperJSはすごい 使い道 スマホ対応しているかどうかざっと画面で確認ができる どのようにスマホ対応しているか（レスポンシブかUAでページ変更しているのか）、スクリプトを一部変更することで簡単に確認ができる PC画面と比較することで、デバイスによる見せ方の違いがすぐに分かる スクリプト上でUAやViewportの変更もできるので、ちょっとした修正で様々なケースに対応できる ファイル構成 root/─┬─capture.js（実行するスクリプト） │ └─files/─┬─img/xxx.png（自動出力） └─src.json（読み込むURLソース） var json = re
CasperJSは、JavaScriptで実装されたPhantomJSのユーティリティです。PhantomJSを使ったFunctional Testを実行することができます。 CasperJS, a navigation scripting and testing utility for PhantomJS | CasperJS 1.0.2 はてなブログ（murayama blog）をテストしてみる テストの題材として、 き、気がつけば使っていたChrome拡張機能 オススメ3つ - Murayama blog. を扱うことにします。*1 さて、上記のページは以下のように構成されています。 タイトル：き、気がつけば使っていたChrome拡張機能 オススメ3つ 見出し: 縦長画面もキャプチャできる - Screen Capture (by Google) 見出し: 検索結果を1年以内のものに
日本語がちゃんと表示できるCasperJSのDockerイメージを作る - そんな今日この頃の技術ネタ
本家の方の↓の記事ではvidiben/casperjsなるDockerイメージを使っていた。 blue1st.hateblo.jp 一応これでも記事の目的は達していたのだが、 GithubみるとインストールされてるCasperJS/PhantomJSのバージョンは古そうだし、 何より日本語ページは化けてしまう。 ページをキャプチャしてどうこうする用途だとこれでは良くない。 そこで日本語がちゃんと表示できるイメージ（のDockerfile）を作成してみた。 npm経由ではPhantomJSのインストールで何かエラー吐くとかCasperJSはちゃんと入ったはずなんだけど何か音信不通になるとかで意外と苦労した。 結果的には必要なものを泥臭く公式からダウンロードして配置する方法で対応。 FROM ubuntu:14.04 RUN apt-get update -y&&\ apt-get insta
CasperJSで動的なjsページを操作してキャプチャを撮りました。 以前CasperJSでクロールしてキャプチャ撮る記事をあげました。 pppurple.hatenablog.com 普通のクロールではjsで動的にページが生成されるようなページは クロールできません。 CasperJSを使うとページを操作することができるので、そういうページも ダウンロードしたりキャプチャを撮ることが出来ます。 クリック操作 例えばこんなjsパーツがあったとします。 これはクリックすると、一覧が表示されます。 クリック時 これをCasperJSで操作する場合、click()で対象のcssセレクタを指定します。 casper.start('http://xxxxxxxxxxxx/'); casper.then(function() { this.click('#search_area > a'); });
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CasperJSで気軽にJSのテストできる - hitode909の日記
AWS Lambda+PhantomJS/CasperJSでスクレイピング - プログラマでありたい
casperjsのテストをUI操作で作成する。 - Qiita
Resurrectio - CasperJS向けのテストコードをWebブラウザ上で生成
Node.jsやCasperJSでのデバッグ - Itsukaraの日記
PhantomJS入門 CasperJSを使う - Murayama blog.
CasperJSでクローリングしながらキャプチャを撮る - abcdefg.....
【連載】CasperJS でスクレイピング (1) - CasperJS の基本 - メモ用紙
Node.jsでうごくPhantomJSとCasperJSを使用したスクレイピング
CasperJSでWeb GUIテスト - Qiita
CasperJSでWEBサイトをスクレイピングしてみる - Qiita
Spidering the web with CasperJS | Blog | Plan Zero
CasperJS を用いたコンテンツ内容の自動チェック | スタッフブログ | LAB Inc.（株式会社ラボ）
CasperJSでブラウザ操作を自動化しよう - Qiita
Casperjsのインストール(windows編） - Qiita
【続】phantomjs/casperjsによるキャプチャー自動化 - Qiita
CasperJSであしあとポイントをちょろまかす話のつづき - そんな今日この頃でして、、、
CasperJSを使って任意のWebサイトを電子書籍化する方法
CasperJSを使ってHARファイルを作る - console.lealog();
CasperJS で JQuery を使う - とほほのN88-BASIC日記
CasperJS でHTML要素を取得する便利な方法 - ボクココ
CasperJSを使ってGrafanaのグラフのスクリーンキャプチャを撮る
CentOSにPhantomJSとCasperJSをインストールする - ソフラボの技術ブログ
CasperJSでサイトのスマホ画面を連続キャプチャする - Qiita
PhantomJS入門 CasperJSでテストする - Murayama blog.
CasperJSで動的なjsページを操作しキャプチャを撮る - abcdefg.....