楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Python で HTML をパースする (HTMLParser)
HTMLParser で HTML を処理するPython に標準搭載されている HTML パーサである html.parser.HTMLParser は、イベントドリブンな HTML パーサです。 HTMLParser クラスを継承して独自のパーサを作成し、feed メソッドに HTML テキストを渡すことによってパースを開始します。 下記のサンプルコードでは、開始タグ、終了タグ、テキストデータ、コメントが見つかったときに、それぞれ内容を出力しています。 sample.py from html.parser import HTMLParser # HTMLParser を継承してパーサクラスを作成する class MyParser(HTMLParser): def handle_starttag(self, tag, attrs): print("START :", tag, attrs
JavaScriptでtableタグをスクレイピングして値を取り出す方法 - 小さい頃はエラ呼吸
テーブルレイアウトで作成されたWebページやtableタグで組まれた表の値をスクレイピングして取り出すときには、JavaScriptでtableの列や行を走査して、値を取得していく必要があります。 そこで、JavaScriptでtableタグの列や行を扱う方法をまとめてみました。 2011.02.01追記 コメント欄での指摘で気がつきましたが、行と列が逆でしたので修正しました。 table要素を取得する ページ内のtable要素を取得するには、document.getElementsByTagName関数が利用できます。tableタグにIDがふられている場合には、document.getElementByIdも利用することができます。 // ページ中にある0番目のtableを取得する。 var tbl = document.getElementsByTagName("table").ite
WSH で HTML を XPath したいんじゃあああぁぁ - Wisteria::Diary
CompleteX で文脈依存のヘルプを表示するために、各種ライブラリ (たとえば 田楽 DLL) のドキュメントを INI ファイル形式に変換したい。ただし、できるだけロバストな記述で*1。具体的には 素の Windows + IE 環境で (不特定多数の一般ユーザーのマシンで*2 ) 必ずしも well-formed でない HTML 文書を対象として XPath を使って内容をスクレイピングしたい という、一見ありがちな要求。なんだけど……これが全く一筋縄では行かないどころか五筋縄以上かいくぐる羽目になりましたことよ。 結論 現在のところ Windows + IE だけでは不可能。サードパーティの XPath 実装を使えば可能。 0 筋縄: 方針の確認 まず、対象が純粋な XML なら簡単にできることを確認。 var dom = WScript.CreateObject("MSXML
WSHでCSSセレクタのWEBのスクレーピング - それマグで！
ここまでのまとめ。 WEBスクレーピングをCSSセレクタで遣るためにPerl入れますか？Ruby入れますか？PerlでWeb::ScraperやRubyでScrapiと同じ事をWSHでやればいいじゃん。わざわざWSHで？うん、わざわざ、してみた。 ActivePerlでCPANモジュール使うの面倒じゃん*1 WindowsにRubyいれてパッケージ入れるのすら面倒（笑 WSHならJSだけで動くじゃん JScriptでWeb.Scraperを作ればいいじゃん。 休日を返上してうんうん唸って捻って考えた結果。どうしてもWSHからIEを使いたかった。 スクレーピングのテストとしてYahooから株価を取得することを考えた。 株価取得コード これを動作させるのが目標 //株価取得 var stocks = {}; stocks.NIKKEI = Utena.Scraper.YahooStock("9
株とお金儲けと時々スクレイピングの話
今年は一つ株でも始めてみようかと思っている。 せっかくなので、まー株の勉強とプログラミングの勉強をかねて一石二鳥でやれないかなーと思ってる。 この前の記事で、アグリコラとリアル人生ってかいたように、今一石二鳥にはまっているのだ。 例えば、運動不足を解消するために毎朝走っている。 でも、朝起きるのはしんどいってことで 通勤を走って行うことで、一石三鳥（通勤出来るし、早くつくし、運動も出来る！） というすばらしい取り組みをやったりしてる。 その一環で、プログラミングとお金儲けと株の勉強を同時にやってしまおうじゃないか！ さらには、その様子をニコ生で放映することでコンテンツにしてしまうという いいとこどり！！ 良いことしか無い！ ぐらいの勢いですよ ってのがこの企画。 んーでも何から始めればいいんだ？ ってことで まずは情報集めでしょう と思って、いろいろ見てると NISAで買いたい10万円以内
RubyでWebスクレイピングするためのサンプル - t-taira blog
サンプルで使ったライブラリ gem install nokogiri gem install mechanize Nokogiri HTMLを操作するためのライブラリ tenderlove/nokogiri · GitHub Mechanize Webサイトへ自動でアクセスするためのライブラリ tenderlove/mechanize · GitHub HTMLを操作するサンプル 型番で検索して、価格コムの最安値を出力するサンプル # coding: utf-8 require 'rubygems' require 'nokogiri' require 'open-uri' model_number = 'L32-V09' page = open("http://kakaku.com/search_results/#{model_number}/") html = Nokogiri::HT
Nokogiriを使ってみた - rochefort's blog
fizzbuzzをやってみた - うんたらかんたらRuby - Rubyist anarchy golf - FizzBuzz golfでは、67位なんだけど早さでは何位なんだろうかと思って scrapeしてsortしてみようと思い立った。 ここら辺（Ruby Scraping - FrontPage）をみながら 「xpathとかcssセレクタとかを簡単に扱えるらしい。」ということで Nokogiri（tenderlove's nokogiri at master — GitHub）をインストールしてみることに。 インストール gem install nokogiri で簡単に入れれるらしい。 Building native extensions. This could take a while... ERROR: While executing gem ... (Gem::Install
HTMLの簡単な解析 (Nokogiri, ruby) - Qoosky
概要 様々な局面でHTMLの解析が必要になります。例えば、こちらのページでも紹介したSeleniumで複雑なことをしようとすると、driver.page_sourceで取得したHTMLを解析したくなります。このような用途のために、RubyにはNokogoriというツールがあります。 公式ドキュメント 本ページの内容を越えるものは、こちらの公式ドキュメントを参照してください。 要素セレクタは2種類 XPathまたはjQueryでもお馴染のCSSセレクタを使用できます。本ページではCSSセレクタを用いた例を示します。 解析対象HTMLの読み込み Nokogiriの入力はUTF-8である必要があります。ちなみに出力もUTF-8です。 文字列HTMLを解析 sample.rb #!/usr/bin/ruby require "nokogiri" require "selenium-webdrive
スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
RubyのNokogiriを使ってサイトをスクレイピングする - Think Big Act Local
Rubyのライブラリ「Nokogiri」を使ってみました。 Nokogiriとは HTMLやXMLをパースするためのRubyライブラリ XPathやCSSセレクタを使ったパースが可能 公式：http://nokogiri.org/ 試した環境 ruby 1.9.3 簡単なサンプル Qiitaにあがっていたものを拝借 - Nokogiriで文字化けを防ぐ - Qiita sample.rb # -- coding: utf-8 require "open-uri" require "rubygems" require "nokogiri" # スクレイピングするURL url = "https://www.walmart.com.br/" charset = nil html = open(url) do |f| charset = f.charset f.read end doc = No
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
