RubyでWebスクレイピングしたい（ツール選定編） - マイペースなRailsおじさん
自作したスクレイピングツールで画像をあつめたい 現在開発中のアプリケーションで、エフェクターボードの画像が100枚くらい欲しかったので、Google画像検索から画像を集めることにしました。 画像収集は機械学習などでかなり需要があるらしく、自作せずとも利用可能なツールがいくらかあるようです。 GitHub - hardikvasa/google-images-download: Python Script to download hundreds of images from 'Google Images'. It is a ready-to-run code! 画像クローラー - Qiita せっかくですが、rubyではWebスクレイピングするようなプログラムは書いたことがなかったので、自作してみることにしました。 nokogiriかSeleniumか rubyでスクレイピングをする場合、
Rubyで始めるスクレイピング 〜入門編〜 - Qiita
スクレイピングとは Webサイトから自分の知りたい情報を抽出すること。 ex) 文章、画像、動画など 今回の目標 Qiitaで「ruby」と検索して「いいね順」に並べた検索結果一覧をスクレイピングします。 1. URLのパスパラメータ・クエリパラメータを理解する スクレイピングをするにはURLのパラメータについて理解する必要があります。 「そんなん余裕で知っとるわ！」という方は飛ばして次章へどうぞ！ パラメータの種類 URLでドメイン以降の/で区切られたパス1つ1つがパスパラメータです URLの?以降がクエリパラメータです（複数記述する場合は&で繋ぎます）。 例えばこのURLは。 https://qiita.com/search?page=1&q=ruby&sort=like 以下のパラメータになります。 種類 パラメータ名 パラメータの値
Rubyのnokogiriとmechanizeの使い分け
nokogirirはHTMLドキュメント解析 mechanizeは「シンプルログイン」認証突破 「シンプルログイン」の個人的な定義は、「フォームにIDとパスワードを入力してログインボタンをクリックしてマイページへ！」みたいなサイトです。 「え？逆にそれ以外何があるの？」最近よくあるじゃないですか、IDを入れたらパスワード入力フォームが現れたり、ログイン時にページが動的に動くサイト。そういうサイトでもmechanizeで認証とれるかもしれませんが、個人的に私はすぐに諦めます。そういうサイトはすぐにselelniumに移行します。 「すぐ諦めたら、力つかないよ！」確かに一理ありますね。しかし私はスピードとストレスと全体的なコストを比較して、「シンプルログインサイト以外はseleniumに即移行！」とすることにしました。 nokogiriの基本的な使い方 Webページ「https:// ○○○.
Nokogiriでスクレイピング - Qiita
nokogiriとは gemで提供されているスクレイピングライブラリのこと。 公式サイト http://nokogiri.org/ install gemでインストールする。 使い方 使い方はとにかく簡単。 スクレイピングしたいページにアクセスし、HTMLを取得してきた後、nokogiriを通して各要素にアクセスする。 要素へのアクセス方法は、XPathというものとCSS記法によるものがあるらしいが、普段使い慣れているCSSが使えれば十分だと思った。 サンプル require 'nokogiri' require 'open-uri' html = Nokogiri::HTML(open('https://www.google.co.jp/')) logo = html.css('#hplogo').first # id="hplogo" logo.name # タグ名 logo.attr
Mechanize::Page - Ruby Mechanize wiki (ja)
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 Mechanize::Page 最終更新： kitamomonga 2010年10月16日(土) 16:33:09履歴 Tweet Mechanize::Page 「サーバから取得した HTML」を表すクラスです。サーバから取得したファイルが HTML、XHTML、WAP だったときに返り値にこのクラスのオブジェクトが使用されます。 HTML 構造を解析した結果を内部で保持しています。 フォームを条件で探して操作したいときは #form_with メソッドを、 # <form name="f1"> なフォームを探してブロックに渡す agent.page.form_with(;name => 'f1'){|form| form.... リンクを条件で
Nokogiri の基本(翻訳版) - Engine Yard Blog JP | Engine Yard Blog JP
本記事は英語版ブログで2010年1月14日に公開された記事の翻訳版です。Engine Yard ブログでは少し趣向を変えて、コミュニティのメンバーによるゲスト投稿を募ることにしました。今回の (初めての!) ゲスト投稿は Aaron Patterson 氏によるものです。Ruby コミュニティの長年のメンバーである同氏は Nokogiri の作成者でもあります。Seattle.rb の開発者とともにコーディングに勤しむ一方、世界各地で行われる業界の会議やイベントに出向いて Nokogiri や他の Ruby 関連のトピックについて講演を行っています。 Nokogiri は XML ドキュメントと HTML ドキュメントを扱うためのライブラリです。Nokogiri は私の良き相棒 Mike Dalessio と一緒に開発しました。2 人とも Nokogiri を使って毎日 HTML や XM
Sass、そしてSassy CSS (SCSS)
CSSを拡張したメタ言語であるSass、そしてその別文法として定義されたSCSSについて、960.gsなどのCSSフレームワークと絡めて、Sass (主にSCSS)の良さを解説する。 CSSフレームワーク Sass Sassy CSS aka SCSS SCSSでCSSフレームワーク 2カラムレイアウトの作成 clearfixやReset CSSの組み込み カラム幅の変更 カラムの入れ替え SCSSで完結することの意義 まとめ 最後に CSSフレームワーク 960.gsやBlueprint、BlueTripなどCSSフレームワークと呼ばれるものは色々ある。フレームワークと名乗るだけのことはあって、それらの生産性はとても高い。テンプレートで適切にクラス名やIDを埋め込むだけなので、複雑怪奇なCSSコーディングを意識することなく誰でも簡潔にきれいなカラム・レイアウトを作成できる。 HTML 4
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
ScaleOut | Supership
「ミライリアルの幸せを、デジタルの力で創る」ことを目指すSupershipグループの社内報です。日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipグループの”Be Super”なストーリーをみんなでシェアしていきます。
Zephyr Cradle Diary(2011-08-17)
■ [tdiary][PG] tDiaryの2カラムデザイン化と、iPhone向けデザイン調整 というものに最近こだわってました。今日ようやく完成。 tDiaryはデフォで1カラムデザインなのですが、やっぱり味気ないので次のようなことを目指してました。 基本は2カラム表示（今回は左にサイドバー）ただしスマフォ（＝iPhone）では1カラムで表示 最近のtDiaryのUpdateでスマフォ用との切り替えが出来るようになっていたのは知っていたので、じゃあそうしようじゃないかってことで色々試行錯誤してました。今回はそのメモ。 2カラムなデザイン 基本的には以下のリファレンスに従います。今回のデザインではヘッダが横いっぱいに広がるほうのデザインにしてます。 tDiaryドキュメント - ヘッダ・フッタ ちなみに、サイドバーの内容はフッタ側に書くこと、みたいな推奨事項は、TwitterでtDiary
tDiaryの2カラムデザイン化と、iPhone向けデザイン調整 - Zephyr Cradle Diary(2011-08-17)
■ [tdiary][PG] tDiaryの2カラムデザイン化と、iPhone向けデザイン調整 というものに最近こだわってました。今日ようやく完成。 tDiaryはデフォで1カラムデザインなのですが、やっぱり味気ないので次のようなことを目指してました。 基本は2カラム表示（今回は左にサイドバー）ただしスマフォ（＝iPhone）では1カラムで表示 最近のtDiaryのUpdateでスマフォ用との切り替えが出来るようになっていたのは知っていたので、じゃあそうしようじゃないかってことで色々試行錯誤してました。今回はそのメモ。 2カラムなデザイン 基本的には以下のリファレンスに従います。今回のデザインではヘッダが横いっぱいに広がるほうのデザインにしてます。 tDiaryドキュメント - ヘッダ・フッタ ちなみに、サイドバーの内容はフッタ側に書くこと、みたいな推奨事項は、TwitterでtDiary
ブログをリニューアル - URIN HACK
ブログをGitHub Pagesに移転して完全にリニューアルした。CMSはJekyllでホストはGitHub。 Jekyll • Simple, blog-aware, static sites 去年あたりから忍者ブログのサービス内容がどんどん劣化していってついに我慢が限界に達した。 何か新しいことが始まるとき、その多くは「負（怒りや悲しみ）」のモチベーションからスタートすると聞いたことがある。まさに、それだ。 Jekyllを選択したわけ ブログサービスを選ぶ判断基準は以下。 無料で容量制限が厳しくない 将来性がある（１０年間くらいはサービスが継続すると思われる） HTMLやCSS、Javascript含めてほぼ完全にカスタマイズできる 余計な広告が入らない 記事にもHTMLが使えてコードのシンタックスハイライトなどもできる 無料のブログサービスを調べる 日本向けのブログサービスを見てみた
jekyllの実験的テンプレート - T.I.D.
jekyll で本格的ブログを作るためのテンプレート jekyll-experiment を作ってみたが、色々と作り込むうちに複雑になってきたので、ここに記録しておく。 制作方針 モジュール化により、カスタマイズし易くすること。 ブログに必要な最小限の機能が、プラグインの使えない GitHub Pages 上の jekyll でも動作すること。 構成 . ├── _deploy/ # デプロイ時の静的ファイル群を保存しておく ├── _includes/ # 他からインクルードされるテンプレート部品 │ ├── asides/ # サイドバー用各種テンプレート部品 │ ├── post/ # 個別記事ページ用各種テンプレート部品 │ ├── libs/ # 小さなテンプレート部品 │ ├── js/ # 小さな js 部品 │ ├── css/ # 小さな css 部品 │ │ └── p
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
my_middlemanをlivereload対応にしました | e2esound.com業務日誌
この tkDocs をどう作ったか - 俺式4.0 tkDocs