CasperJSを使う際に「waitちゃんとかけとかないと、ローディング中にデータ取りに行く可能性がある」と思い込んでいたのですが、どうやらそんなことは無さそうだという話です。 ネット上にあるサンプルコードには、私のコードも含めwaitやwaitForが多用されています。「公開する以上は安全なものを…」という気持ちが働いているのだと思いますが、waitForならともかく、waitだと無駄に処理が重くなってしまい、実用に足らないレベルになってしまうことも多々あるのではないかと思います。 というわけで、私もCasperJSのwaitまわり、特にwaitForの挙動について疑問を感じていたので、色々実験を行ってみました。 結論から言うと、thenで連結してるなら、wait系が必要なのはonloadやready以外でjsの処理を走らせた場合のみなんじゃないかということが分かったので、共有したいと思
Web 制作をしているとページの表示確認やコンポーネントの洗い出しなどで、大量にキャプチャを撮ってきたい時があります。 しかしブラウザのエクステンションで1枚ずつ撮るのも面倒です。 そこで PhantomJS と CasperJS を使うとキャプチャを自動化することができるということなので、先達たちの情報を参考に、キャプチャしたいURLと想定するデバイスを CSV で管理して、楽にキャプチャがとれるものを作成しました。 PhantomJS と CasperJS とは PhantomJS ですが、グラフィカルな画面のないブラウザで「ヘッドレスブラウザ」と呼ばれるブラウザです。コマンドラインからブラウザの機能を使うことができ、フォームの操作やページの要素を取得することができます。よく CI ツールと組み合わせて自動テストを行ったり Web スクレイピングで使われたりします。 PhantomJS
PhantomJSを元々使っていたものの、waitがかけにくいとか、微妙によくわからない動作をすることがあったりと、不満点が色々あったので、CasperJSに乗り換えました。乗り換えたと言っても、CasperJSで利用するヘッドレスブラウザにPhantomJSを選択したので、実際には「PhantomJSを拡張するCasperJSを利用することにした」と言った感じです。 今回は、いくつかのサイトに対するスクレイピング(HTML情報の取得)と、特定サイトにログインしてからの操作(例えば、CMSにログインして記事を投稿するなど)を試してみましたが、CasperJSの知識というよりも、Javascriptの制約とか、サイト毎に異なる仕様の部分で引っかかることが多かった印象です。 ということで、色々試した結果得られた「とりあえず動かす方法」と「いくつかの注意点」をお伝えしていきます。 CasperJ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CasperJSのwaitForやwaitは、thenで連結してるなら要らないケースが多いという話 | スズメノート
PhantomJS と CasperJS で複数ページを一括キャプチャする ｜ Tips Note by TAM
CasperJSでスクレイピングやログインからの投稿などを行うための方法と注意点 | スズメノート