Node.jsでウェブスクレイピングする色々な方法 - Qiita
ウェブサイトの更新チェックをするのに、ブラウザを開くのが面倒でスクリプト化したいことがあります。 Node.jsを使って、スクリプト化します。 お題 国立大学法人 電気通信大学から最新の新着情報の日付を取得します。 ブラウザ上での動作 最初にブラウザでの情報取得方法を確認します。 開発コンソールで次のJavaScriptを実行します。 document.querySelector('.newsList').children[0].firstChild.textContent.trim() "2017年10月 5日"最新の新着情報の日付が取得できます。 解法 色々な実装方法があります。 環境 Nodo.js v8.6.0 MacBook Pro (Retina, 13-inch, Late 2013) 比較表 最初に簡単な比較を載せます。 ソースコードは後半にあります。 ヘッドレスブラウザ
GoogleスプレッドシートでGET/POST通信を行いコンテンツを取得する - ソフラボの技術ブログ
必要なもの ネット環境 Google SpreadSheet スクリプトの作成 1.Googleスプレッドシートを開き、ファイルメニュー「ツール」→「スクリプトエディタ」と選択します 2.スクリプトエディタのファイルメニュー「ファイル」→「新規作成」→「スクリプトファイル」を選択します スクリプトファイル名は拡張子を除いて入力すると、自動的に「.gs」ファイルとして作成されます。 GET // アクセス先 var url = "http://www.google.co.jp/" // GETリクエスト var response = UrlFetchApp.fetch(url); // HTMLの結果を取得（引数のcharsetは設定したほうが良い） var content = response.getContentText("UTF-8"); POST // POSTデータ var pay
ADVENTAR の更新を通知する Slack BOT を作ってみた
IGGG Information technology researching society of the Gunmer, by the Gunmer, for the Gunmer IGGG 名古屋支部のひげです。 今年もとりあえずやってみた 群馬大学電子計算機研究会 IGGG Advent Calendar 2016 1日目の記事です。 1日目ということで、Advent Calendar に準じたネタを。 いきさつ去年、なんとなくやりはじめた Advent Calendar 。 その時の話。 とりあえずググってみた結果、まぁ、Qiita が人気ですよね。 ここ に簡単にまとめてある。 便利ではあるのだが、部活用の身内カレンダー(身内意外に書かれてもいいけど)を Qiita でやるのは憚られる。 で、次に使われてそうなのが ADVENTAR 。 サークルとかでも使われた事例はある。 で
Easy data scraping with Google Apps Script in 5 minutes
I'm using Google Apps Script for a lot of things - from automate tasks to data analysis. I have discovered, that there was repetitive use-case: scrape data from web and parse exact value from HTML source code. If you are novice in programming, you probably know, that's difficult to write and use regular expresion. For me too :) I have written Google Apps Script library, which helps you to parse d
家電価格の定点観測を Google スプレッドシートで行う - Qiita
主にスクレイピングと定時実行を Google Apps Script で試しながら理解しようという記事です。 まえがき ※ プログラミング自体のお話はこの次のセクションからです。必要なければまえがきは読み飛ばしてください。 最近は、Google スプレッドシートに代表されるような Google ドライブがだいぶ浸透しました。業務にがっちり組み込まれた VBA アプリケーションやマクロなどがない場合は、MS Office からの移行も盛んなように思えます。 Excel もとい表計算ソフトが大好きな私達ですが、Google スプレッドシートもまた使い勝手が良いです。常時接続が当たり前となり、インターネットに接続していないと使えないというデメリットも取り沙汰されなくなりました。 Excel での VBA に対応するものが Google Apps Script (GAS) です。Google スプ
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出 - Qiita
Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出rdfスクレイピングWikipediaSPARQLdbpedia みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェック
Protractorでスクレイピングしてみた
Railsでスクレイピングが必要な時は Nokogiri を使っていたけれど、普通のサイトはJavascriptを使っているわけで、Nokogiriだけではスクレイピングが難しいこともある。そんな時にどうしようかと。 Nokogiri 鋸 Protractorなら、実際にユーザーがブラウザーを立ち上げて、ボタンをクリックして、テキストを読んで… みたいなことを再現できるのですごい便利。ほんとはAngular.jsのためのテストフレームワークだけど、スクレイピングにも使える。 Protractor - end to end testing for AngularJS nvmのイントール 手元のMacOSにインストールして使ってみる。 Ruby使っているならお馴染みのrvm（Ruby Version Manager）。 nvmはNode.jsのバージョン管理ツール。 nvmを入手 $ git
Anemoneによるクローラー入門 | feedforce Engineers' blog
こんにちは！ 見た目30歳の新卒1年目中野です。 今回は社内でクローラーについて勉強会を行ったので、その内容について記事を書きました。 クローラーとは、WebページからHTMLを解析して周期的に情報を収集する技術です。 初心者向けの内容となっていますので、クローラーに興味があってやってみたい！という人に読んでいただきたいなと思います。 Anemoneによるクローラー入門 from Tasuku Nakano クローラーとスクレイピングについて まずはクローラーについて説明していきます。 ただ、その前にスクレイピングという技術もあるので先にそちらを説明します。 ご存知かと思いますが、スクレイピングとは、WebページのHTMLを解析してデータを抽出することです。スクレイピングはWebページ1ページに対して処理を行います。 一方クローラーは、Webページ内にある全てのリンクを巡回して、深堀りしな
第1回Webスクレイピング勉強会@東京 （全3回） - Qiita
official connpass 「Webスクレイピングの基礎知識」（@nezuq） SlideShare 3つの壁を突破する 倫理 情報解析目的なら合法と解析と解釈(文化庁のQAに肯定的記述) 常識的な範囲でのアクセス障害なら過失と言える。(国立国会図書館の場合、1秒以上あけてスクレイピングなら可能) 技術 最低限でもHTMLの知識 事例(どう使うか) データジャーナリズム(データからストーリーを見つけ提供する。NHKでやってる) Data Journalism Handbook(大義がある) 「オープンデータのためのスクレイピング 〜抽出・共有・分析まで〜」（@ito_nao） SlideShare プログラミング不要でスクレイピング出来るwebサービスのご紹介 Tabula PDFからデータを抽出するツール kimono paginationが得意。 構造化されたクローリングは苦手
Phantomjsで画像ファイルを保存する。 - The Other Road Ahead
2013-10-10 Phantomjsで画像ファイルを保存する。 Phantomjsでは、スクリーンショットを取ることができるが、開いたページの個別の画像を指定してダウンロードすることはできない。じゃあcasperjs使えばいいじゃんって話になるけど、casperjsは、ajaxで画像のurlを指定してダウンロードしているので、ページを開いたタイミングでrequestした画像がダウンロードされるわけではなく、もう一度requestを送ってダウンロードするので、リファラとか気にする場合は面倒なことになる。しかし、phantomjsには、disk cacheの仕組みがあり、そこからcacheした画像を掘り起こせばダウンロードしたファイル取ってこれるよねってことで、それを可能にしたscriptがこちら。 https://gist.github.com/bshamric/4717583 nor
ログインが必要なページでもサクサクっとスクレイピングしちゃう「CasperJS」 | astronaughts.net
Titanium 以外のこと書くの久しぶり ども、最近 Titanium mobile と同じ釜の飯を食った仲レベルの仲良しっぷりを発揮している、ボクです。そんなボクですが先日初仕事となる ChatWork のバージョンアップ版がリリースされました。いやはや、めでたい。 なのでいろいろ Titanium mobile について書きたいことがわんさかあるんですが、ここはちょっと寝かせておいて敢えて別の思考で行きたいと思います。 JavaScript でスクレイピングできちゃう超ハイカラなやつ iOS アプリ作ってて TestFlight 使ってるんですが API が用意されてなくてわざわざ Web サイトにログを見に行かないといけなく、なんかイイ方法ないかなと思ってスクレイピングを考えていたんですが、その中でこいつと出会いました。 CasperJS - http://casperjs.org
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
Not Found |ミレスポ！ - Millennials Sports Marketing
横浜F・マリノスユース同期6人による新たな挑戦「ROOTS.」。新時代に適応するアスリートに必要な素質とは。
Casper.JSのススメ - After Coding
2013-08-17 Casper.JSのススメ Phantom.JSというヘッドレスブラウザがある。 これが超便利なんだけど、セッション周りとか込み入った操作をしようと思うと途端に操作(JSファイルへの記述)が面倒になる。 そこで、Casper.JSの出番だ。 CasperはPhantomと連携するライブラリで、簡単な記述で複雑な操作を実現することができる。 また、Phantomのレンダリングエンジンはwebkitで、Gekkoで動いているSlimer.JSってのもあって、これらの上で動くCasperを使っているとレンダリングどっちも使えるので捗る(と思う)。 今回はEnd-to-Endテストの実現を目的に、Casper.JSでwebサイトのHTMLを解析してみる。 もちろん、スクレイピングなどにも応用可能だ。 ↑ヨルムンガンドに出てくる主人公(ココ・ヘクマティアル)の兄キ
WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記
新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お
サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Import.io
Webクローリング＆スクレイピングの最前線 公開用
クローラを作る技術と設計 (毎週のハンズオン勉強会資料)
