Nokogiriが文字化けするのの対策 - hitode909の日記
そこらへんで拾ってきたHTMLをNokogiriに渡すと，文字化けすることがあって，困ってた． Nokogiriに文字コードを渡せるので，HTMLから正規表現でcharsetを取り出して，一番多く出現するcharsetをそのページのcharsetとして採用すると，うまくいった． ヒューリスティックにやってるだけだけど，だいたいうまくいく． こんな感じ． charset = io.scan(/charset="?([^\s"]*)/i).flatten.inject(Hash.new{0}){|a, b| a[b]+=1 a }.to_a.sort_by{|a| a[1] }.reverse.first[0] before "〓\u0082«〓\u0083¼〓\u0083\u0089〓\u0083\u0095〓\u0082〓〓\u0082〓〓\u0083\u0088!! 〓\u0083´〓\
Ruby Scraping - Nokogiriのタグ検索機能
XML::NodeSetクラスのリファレンスです。 mapとかfindとかfind_allなど、Enumerableモジュールのメソッドは全て使えます。 まあNodeクラスの配列みたいなもんだと思えばいい。 NodeSetクラスはNodeクラスとの継承関係はありません。 中身の要素を取得したい empty?() Is this NodeSet? empty? each() {|self[x]| ...} Iterate over each node, yielding to block first() Get the first element of the NodeSet?. last() Get the last element of the NodeSet?. size() document このNodeSetが含まれているDocumentを返す。 再検索 /(*p
Overview
Overview Overview API Support Tutorials Changelog About Nokogiri¶ Nokogiri (鋸) makes it easy and painless to work with XML and HTML from Ruby. It provides a sensible, easy-to-understand API for reading, writing, modifying, and querying documents. It is fast and standards-compliant by relying on native parsers like libxml2, libgumbo, and xerces. Guiding Principles¶ Some guiding principles Nokogiri
スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
Route 477(2009-04-28)
■ [ruby][scraping] Nokogiriに新機能が取り込まれたよ NokogiriにもWeb::Scraperのshellみたいのが欲しいなーと思っていて、そしたらSequel添付のsequelコマンドが irbを使ってそれっぽいことを簡単に実現してたので、真似してみた。bin/nokogiri んで、コミットしてpull request送ったら採用されました。これは嬉しい。 http://github.com/tenderlove/nokogiri/commit/3038d868ebb620b1bc9a197beefc328d2a4c063e 使い方は、 $ nokogiri http://www.ruby-lang.org/ (もしくはHTMlファイルのパス) などとすると、変数@docに指定URLのHTMLを表すNokogiriオブジェクトが入った状態でirbが起動する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
