RubyでWebスクレイピングしたい（ツール選定編） - マイペースなRailsおじさん
自作したスクレイピングツールで画像をあつめたい 現在開発中のアプリケーションで、エフェクターボードの画像が100枚くらい欲しかったので、Google画像検索から画像を集めることにしました。 画像収集は機械学習などでかなり需要があるらしく、自作せずとも利用可能なツールがいくらかあるようです。 GitHub - hardikvasa/google-images-download: Python Script to download hundreds of images from 'Google Images'. It is a ready-to-run code! 画像クローラー - Qiita せっかくですが、rubyではWebスクレイピングするようなプログラムは書いたことがなかったので、自作してみることにしました。 nokogiriかSeleniumか rubyでスクレイピングをする場合、
Rubyで始めるスクレイピング 〜入門編〜 - Qiita
スクレイピングとは Webサイトから自分の知りたい情報を抽出すること。 ex) 文章、画像、動画など 今回の目標 Qiitaで「ruby」と検索して「いいね順」に並べた検索結果一覧をスクレイピングします。 1. URLのパスパラメータ・クエリパラメータを理解する スクレイピングをするにはURLのパラメータについて理解する必要があります。 「そんなん余裕で知っとるわ！」という方は飛ばして次章へどうぞ！ パラメータの種類 URLでドメイン以降の/で区切られたパス1つ1つがパスパラメータです URLの?以降がクエリパラメータです（複数記述する場合は&で繋ぎます）。 例えばこのURLは。 https://qiita.com/search?page=1&q=ruby&sort=like 以下のパラメータになります。 種類 パラメータ名 パラメータの値
Rubyのnokogiriとmechanizeの使い分け
nokogirirはHTMLドキュメント解析 mechanizeは「シンプルログイン」認証突破 「シンプルログイン」の個人的な定義は、「フォームにIDとパスワードを入力してログインボタンをクリックしてマイページへ！」みたいなサイトです。 「え？逆にそれ以外何があるの？」最近よくあるじゃないですか、IDを入れたらパスワード入力フォームが現れたり、ログイン時にページが動的に動くサイト。そういうサイトでもmechanizeで認証とれるかもしれませんが、個人的に私はすぐに諦めます。そういうサイトはすぐにselelniumに移行します。 「すぐ諦めたら、力つかないよ！」確かに一理ありますね。しかし私はスピードとストレスと全体的なコストを比較して、「シンプルログインサイト以外はseleniumに即移行！」とすることにしました。 nokogiriの基本的な使い方 Webページ「https:// ○○○.
Slimより高速なHaml実装「Hamlit」をリリースしました - k0kubun's blog
slim-template/slimのcompiled benchでオリジナルのhamlに比べ8倍高速に動作するhaml実装をリリースしました。 github.com なぜ高速なHaml実装を作ったのか 個人的にhamlのシンタックスのほうが好きなので、「hamlは遅いからslimを使う」みたいな人を減らしたかったから。以前slimの普及に貢献したんだけど、気が変わったのでhamlを応援することにした。 実は他にも既にeagletmt/famlという高速なHaml実装が存在していたんだけどベンチを走らせたらslimより遅かったので、slimを打倒するべく再実装した。 どのくらいHamlより速いのか 自分の実装に都合のいいベンチマークを作るのは簡単なので、公平性を期すためにslim-template/slimのcompiled benchと同じものを使い、誰でも同じ環境が使えるtravisで
【Ruby】kramdownを使ってMarkdownからHTMLに変換する | ブログで恩返し
僕はブログの記事をMarkdownで書いています。 仕事でドキュメントを作ったり、備忘録を作ったり、メモを取るときもMarkdownを使っています。 Markdownはシンプルで直感的でわかりやすく、何より書きやすいです。 しかし、作ったドキュメントやメモを社内、あるいは社外に公開する時はHTMLに変換しなければなりません。 GitHub使えばいいじゃんとか意見はあると思いますが、ちょっとしたメモをある特定の人達にのみ見せるのにいちいちGitHubを使うのもめんどくさいなと。 自分のVMにあげて、ここ見といてー的な感じでメールにリンクをはりつけるだけで済まないかなと考えていたところ、Rubyで良いライブラリがあったので、それのご紹介です。 Markdownの説明 Wikipediaより引用します。 Markdown は、文書を記述するための軽量マークアップ言語のひとつである。「書きやすくて
Nokogiriでスクレイピング - Qiita
nokogiriとは gemで提供されているスクレイピングライブラリのこと。 公式サイト http://nokogiri.org/ install gemでインストールする。 使い方 使い方はとにかく簡単。 スクレイピングしたいページにアクセスし、HTMLを取得してきた後、nokogiriを通して各要素にアクセスする。 要素へのアクセス方法は、XPathというものとCSS記法によるものがあるらしいが、普段使い慣れているCSSが使えれば十分だと思った。 サンプル require 'nokogiri' require 'open-uri' html = Nokogiri::HTML(open('https://www.google.co.jp/')) logo = html.css('#hplogo').first # id="hplogo" logo.name # タグ名 logo.attr
File: README — Documentation for sparklemotion/nokogiri (main)
Nokogiri Nokogiri (鋸) makes it easy and painless to work with XML and HTML from Ruby. It provides a sensible, easy-to-understand API for reading, writing, modifying, and querying documents. It is fast and standards-compliant by relying on native parsers like libxml2, libgumbo, and xerces. Guiding Principles Some guiding principles Nokogiri tries to follow: be secure-by-default by treating all docu
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Mechanize について - 君の瞳はまるでルビー - Ruby 関連まとめサイト
Heroku の基本 Hello Heroku（Web アプリケーション） Hello clockwork on Heroku（定期実行アプリケーション） foreman について 複数のプロセスを管理する Ruby 上のツール／ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール／ライブラリ Git について ローカル環境で試す 目的 Mechanize を使ってウェブアクセスをエミュレートする基礎的な方法について説明します。 本ページが想定するのは基本的に「特定ページに対する操作の自動化」です。 自動巡回情報収集には Mechanize だけではなく、その他多くの応用技術が必要になるため対象としません。 インストール 以下のコマンドを実行して Mechanize gem をインストールします。 gem install mechanize
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
Slim - A Fast, Lightweight Template Engine for Ruby
doctype html html head title Slim Examples meta name="keywords" content="template language" meta name="author" content=author javascript: alert('Slim supports embedded javascript!') body h1 Markup examples #content p This example shows you what a basic Slim file looks like. == yield - unless items.empty? table - items.each do |item| tr td.name = item.name td.price = item.price - else p | No items
Lang / Markdown / kramdown [GameCreator'sNote]
link & abbr 自動で、メールアドレス、URLを’<’, ‘>’で囲むとリンクに変換される。 その他、任意で以下のような表現も可能 - A [link](http://kramdown.rubyforge.org)to the kramdown homepage. - A [link](http://kramdown.rubyforge.org "hp")to the homepage. - A [link][kramdown hp]to the homepage. - A link to the [kramdown hp]. [kramdown hp]: http://kramdown.rubyforge.org "hp" *[homepage]: "website" A linkto the kramdown homepage. A linkto the homepage. A
Home | kramdown
kramdown (sic, not Kramdown or KramDown, just kramdown) is a free MIT-licensed Ruby library for parsing and converting a superset of Markdown. It is completely written in Ruby, supports standard Markdown (with some minor modifications) and various extensions that have been made popular by the PHP Markdown Extra package and Maruku. It is probably the fastest pure-Ruby Markdown converter available (
Ruby | Kramdownを利用してマークダウンからHTMLの生成 - Tbpgr Blog
概要 Kramdownを利用してマークダウンからHTMLの生成 内容 Kramdownを利用してマークダウンからHTMLの生成します。 今回はMarkdownからHTMLを生成しますが、 HTML => Markdown Markdown => Latex なども可能です。 ※Latexが出せるということは、そこから別途PDFに変換可能 設定 gem "kramdown", "~> 1.1.0" サンプル ## encoding: utf-8 require 'kramdown' text =<<EOS markdown =============== em --------------- *em* strong --------------- **strong** some code single line --------------- `test` some code multi l
JekyllをStep by Stepで使って理解する - Qiita
jekyllは静的サイトジェネレータ。Github Pageなどでも使われており、ブログとしても使うことができて、ブログのフレームワークとしてOctopressやJekyll-Bootstrapがメジャーどころ。 OctopressやJekyll-Bootstrapを読んで勉強するのもありだがあえて素のjekyllを使って流れを理解するの巻。事前セットアップとしてRubyとbundlerは入れておいてください。 Step1 まずはブログとは関係ない任意のページをmarkdownで作成して公開する。 ファイル構成 .bundle/ └─ config _layouts/ └─ default.html # レイアウト _site/ │ code.html │ index.html └─ pygments.css vendor/ └─ bundle/ .gitignore _config.ym
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - sparklemotion/nokogiri: Nokogiri (鋸) makes it easy and painless to work with XML and HTML from Ruby.
GitHub - sparklemotion/mechanize: Mechanize is a ruby library that makes automated web interaction easy.
Documentation | kramdown