Python: Selenium + Headless Chrome で Web ページ全体のスクリーンショットを撮る - CUBE SUGAR CONTAINER
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
E2EテストをPhantomJSから、Puppeteer + Headless Chromeへ移行しました - LCL Engineers' Blog
Webエンジニアの森脇です。LCLでは、以前より「Capybara + PhantomJS」でE2Eテストを行っていましたが、「Puppeteer + Headless Chrome」へ変更しました。 元々は、軽くPuppeteerを触ってみるだけのつもりでしたが、できが良く本格的にE2Eテストへ導入することにしました。 本記事では、変更の経緯や、PuppeteerでE2Eテストを実装する上でのTIPSを紹介します。なお、Capybara + PhantomJSを利用したE2Eテストは、以下の記事でご紹介しております。 techblog.lclco.com 変更の経緯 PhantomJSは古めのWebkitをベースにしているため、一部のCSSがうまく適用されず、Headless Chromeへ移行を以前より考えていました。そんな中、PhantomJSの開発が終了したこともあり、移行すること
PhantomJSの開発が終了しリポジトリがアーカイブ化された
QtWebKitをベースにしたヘッドレスブラウザであるPhantomJSの開発が終了され、2018年6月2日にリポジトリもアーカイブされました。 ariya/phantomjs: Scriptable Headless Browser 以前にもお伝えしていましたが、PhantomJSはQtWebKitをベースにしていて安定版が利用しているバージョンも古いままでした。 また、QtWebKitの新しいバージョンへアップデートを行うベータ版も開発されていましたが、Headless Chromiumが公開されたことや個人でPhantomJSのメンテナンスを続けていくの難しいという問題もあり開発は停止していました。 2017-05-03のJS: Headless Chrome/FirefoxとPhantomJS/SlimerJS、ES modules - JSer.info 2017-09-05のJ
Chrome HeadlessをDebianで動かすためのTips - Qiita
背景 情報共有を行うに至った経緯 備忘録 情報共有 指摘をもらう ユースケース Debianサーバもしくは他Linuxサーバ(Ubuntu等)にChromeHeadlessをインストール 手順 apt-get update // 対象OSのChromeのパッケージをダウンロード（例はamd64) wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb // インストール後、必要なライブリーをアップデート dpkg -i google-chrome*.deb || apt update && apt-get install -f -y deb http://deb.debian.org/debian stretch main contrib non-free deb-src http://d
Headless Chrome を操るPuppeteer のご紹介 (Node ライブラリ) | バシャログ。
どうもfujiharaです。 寒さが気持ち和らいで春の訪れが楽しみです。最近まるちゃんのワンタンシリーズに ハマっていて、1週間で7個以上食べる異常ぶりです。痛風と健康診断が怖い。。 本日は前回ご紹介したHeadless Chromeを 簡単に操作できるNodeライブラリ Puppeteer をご紹介します。 GitHub のリポジトリで27000以上のstarを獲得(2018/02/02)している大人気のライブラリです。 説明はさておき使い方説明していきます。GitHub 準備 Nodeライブラリなので node が必要です。 バージョンはv6.4.0 以上と書いていますが サンプルではasync, await を使うので v7.6.0 をインストールしましょう。 サンプル ## sample.js const puppeteer = require('puppeteer'); (asy
Headless Chrome をさわってみた | CYOKODOG
Headless Chromeのリリースをうけて、PhantomJS のメンテナーが開発の終了を宣言したりとか、ちょっと話題になった Headless Chrome について試してたことをメモっておく。 試したやつのリポジトリ：https://github.com/cyokodog/headless-chrome 概要 ヘッドレス（GUIを表示しない状態）で実行できる Chrome の機能 Chromium と Blink が提供する機能をコマンドラインで利用できる Chrome 59 から利用可（2017/06/08時点ではMAC、Linuxのみ） 活用例 ウェブページのテスト 表示・動作テスト、画像やPDFによる画面のスクリーンショット スクレイピング 認証が必要なサイトでも対応 ヘッドレスで起動する --headless フラグと --disable-gpu フラグ（そのうち指定不要
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
PhantomJS を CentOSにインストールする3つの方法 | Crane & to.
ヘッドレスブラウザ（Headless Browser）PhantomJS 2.1 を CentOS 6.8 にインストールしたときの備忘となります。 ※この記事はWEBエンジニア向けとなります。この備忘は2017年1月時点でのものとなるため、ソフトウェアのアップデートにより変更される場合があります。自己責任・自己解決でお願いします。 ヘッドレスブラウザとは？ ヘッドレスブラウザ（Headless Browser）とはグラフィカルユーザインタフェース（GUI）を持たないブラウザの総称です。Chrome / Safari / Microsoft Edge / Internet Explorer といった通常のブラウザは人間が目で見て操作しますが、ヘッドレスブラウザは PHP / Python / Ruby / JavaScript / Java といったようなコンピュータ言語により操作します。
404
File Not Found アクセスしようとしたページは 見つかりませんでした。 以下のような原因が考えられます。 記事が削除された URLが間違っている
PhantomJS入門 スクリーンキャプチャを撮るまで - Murayama blog.
PhantomJSとは PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG. http://phantomjs.org/ PhantomJSはJavaScript APIで動くヘッドレスWebKitです。 PhantomJSはDOMハンドリング、CSSセレクタ、Canvas、SVGなどネイティブにサポートしており、高速に動作します。 ものすごく簡単にいうと、ターミナルで動く画面をもたないブラウザですね。 主な利用シーンは以下のとおりです。 Webテスト ページオートメーション スクリーンキャプチャ ネ
無料のPOSレジアプリを作った話。名古屋クリエイターズマーケットで活用するまでの苦労話
冒頭でも触れましたが、レジアプリは名古屋で毎年2回開催されているなごやクリエーターズマーケット（通称クリマ）の写真販売ブースに向けに制作しました。 「写真好きのつどい」名古屋クリエイターズマーケット https://photo-love-gathering.tumblr.com/ オフィシャルページも、簡単ですがTumblr上で制作してみました。 解決したかったこと私の参加しているクリマのブースでは、複数の出展者で写真にまつわる商品を販売しています。出展者が複数いるため、販売価格や商品が多様で、商品の管理や売上の管理、また会計方法が年々複雑になりました。 そこで、商品管理や売上集計の複雑さや手間を取り除くために、できるかぎりの事は自動化してしまおうと考えました。これがレジアプリを作ろうと思った切欠です。 現在、巷ではレジアプリが沢山存在しますが、解消したかったニーズと一致しなかったので、頑
Reveal.js : generate pdf using phantomjs
Since I installed revealjs using bower, my path to print-pdf.js plugin is bower_components/reveal.js/plugin/print-pdf/print-pdf.js and my slides are served using simple http server running at localhost:9000. But when I tried this first time, I got the blank slides because reveal.js load the slide content via ajax after loading the index.html and as per the plugin phantomjs won’t wait for the ajax
phantomjsでサイトのキャプチャーをとる - PR TIMESデザイナー&エンジニアブログ BREAK TIMES
エンジニアの呉です。 今回紹介したいのはコマンドラインから使えるWebブラウザーであるphantomjsです。そもそも、なんでphantomjsを使うのか？それはWebサイトのキャプチャーをとるために、最初wkhtmltoimageを使ったけど、スマホ版はうまく撮れなかったため、いろいろを調べた結果はphantomjsを決めました。 phantomjsについて phantomjsはコマンドラインから使えるブラウザーです。レンダリングエンジンには「WebKit」が採用されています。phantomjsを利用すると、コマンドラインから、Webブラウザーを操作して、ブラウザー内に表示されるデータを取得したり、スクリーンショットを撮ったりすることができます。Webサイトからデータを取り出すスクレイピングにも使えます。 phantomsのインストール方法（centos 6.7） ハードウェアのスペック
Node.jsでフォルダ内の全HTMLをキャプチャし画像化 - Qiita
画像化するコード 画像化するにはphantomjsを利用します。メインの実行ファイルと、画像生成プロセスの2つコードを用意するのがポイントです。 main.js : メインの実行ファイル 非同期処理になるので、Promiseとか使っています。 // 定数宣言 (必要に応じて書き換えてください) const TARGET_FOLDER = './samples'; // キャプチャーしたいHTMLのフォルダー const OUTPUT_FOLDER = './imgs'; // 保存先のフォルダー const VIEWPORT_W = '1024'; // viewportの横幅(幅：単位px) const VIEWPORT_H = '768'; // viewportの高さ(幅：単位px) const IGNORE_LIST = ['.DS_Store', 'Thumbs.db', '.i
NightmareでE2E - Qiita
概要 Nightmare segment.io社の「俺が考えた最強のe2e API」を備えたphantom.jsラッパー。スクレイパーにも使える。 casper.jsみたいなもん。試してみた。 インストール お使いのプロジェクトで npm install nightmare してください URLを開く Nightmare = require 'nightmare' new Nightmare() .goto 'http://localhost:3000' .evaluate (-> location.href), (url) -> console.log url .run() .evalueate は第一引数関数でクライアントでevalした結果を、第二引数のコールバックとしてもらってくる。 mochaのテストならこんな感じ test/nightmare_example.coffee Nig
Moving from PhantomJS to node-webkit - Todd Wolfson
My website has a test suite with visual regression tests; screenshot different webpages and compare against a set of expected images: https://github.com/twolfson/twolfson.com/tree/3.40.0/test/perceptual-tests/expected_screenshots This weekend, I switched it from PhantomJS to node-webkit and am happy with the results: Benefits node_modules/ always work (e.g. no process is undefined issues) node_mod
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20140823 LL diver Angular.js で構築した note に関して
【ネイティブアドを支えるPhantomJS】
PhantomCSSでViewの回帰テスト - Qiita
VickeV.com