副業求人の横断検索サービスで利用した技術について - Crieit
はじめに こんにちは。かつおです。個人開発が趣味でがんばってます。 この記事では先日リリースしたWebサービス「副業サーチ」の利用技術やシステム構成を書いてみました。 * 開発者の想い的なNoteはこちら 副業サーチとは？ 副業サーチのサービスのURLはこちら 色々なWebサイトに掲載されている副業求人、副業案件を収集し、まとめて検索できるWebサービスです。 いわゆる横断検索サイトで、副業特化の「Indeed」のようなサービスです。 副業サーチは以下の階層で構成されてます。 * トップページ * 副業の検索ページ * お役立ち記事一覧ページ * お役立ち記事詳細ページ システム構成・利用技術 副業求人検索 Webサイトをクローリングして副業案件データを収集。 PythonのScrapyを使ってスクレイピング 収集したデータをちょっと加工（タギング、データの正規化） 全文検索エンジン（El
HTMLスクレイピングやファイルでのバッチ連携を不要に、「API管理ツール」でWebへRESTful APIを公開。ドキュメントもSwagger記述も自動生成［PR］
HTMLスクレイピングやファイルでのバッチ連携を不要に、「API管理ツール」でWebへRESTful APIを公開。ドキュメントもSwagger記述も自動生成［PR］ WebサイトやWebサービス上の情報を取得し加工したい、あるいは、別の情報と組み合わせるために情報を取得して再利用したい、というとき、そのWebサイトにデータを取得できるAPIが用意されていれば便利ですが、現在のところ、現実にそういうAPIが整備されているケースは滅多にありません。 そのため、WebサイトからHTMLを取得して解析することでデータを取得する、いわゆる「HTMLスクレイピング」を用いるケースも増えてきています。しかしIDとパスワードを第三者に渡してのスクレイピングは、Webサイトやサービス提供者として、セキュリティやサーバへの負担からも避けたいところでしょう。 社内の業務アプリケーションでも同様です。 自社のカ
やはり普及してはならないアンチスクレイピングサービス - happyou.infoのブログ
この記事は、クローラー／Webスクレイピング Advent Calendar 2016 に参加させていただいています。昨日はL_e_k_oさんによるSelenium IDEで作ったテストをCLIで動かす方法でした。 さて、去年のspaceprobeさんのこの記事を読んで考えました。 qiita.com 地図帳や百科事典には、他社にコピーされたことを判別できるように、実用上は問題のない偽データ(たどり着くことの出来ない道路や存在しない言葉など)が埋め込まれているというのは有名な話です。 https://ja.wikipedia.org/wiki/%E8%99%9A%E6%A7%8B%E8%A8%98%E4%BA%8B https://en.wikipedia.org/wiki/Fictitious_entry 少し角度は違いますが、Tim Berners-Lee先生も「オープンデータも悪い人
Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor
2016-12-23更新: 電子書籍書籍版の情報を更新しました。電子書籍版も好評発売中です！ Pythonを使ってクローリング・スクレイピングを行い、データを収集・活用する方法を解説した書籍です。 Pythonの基本から、サードパーティライブラリを使ったスクレイピング、様々なサイトからのデータ収集・活用、フレームワークScrapyの使い方、クローラーの運用までを扱っています。 Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログ (3件) を見る クローリング・スクレイピングとPython Pythonは言語自体の書きやすさ、ライブラリが充実していること、データ解析との親和性が高いことなどから、クローリング・スクレイピングに向いている言語です。
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
クローラー開発勉強会を行いました - 40歳からのキャリアチェンジ
昨日ですが、いつもお世話になってるCo-Edoで第1回クローラー開発勉強会を行いました。 クローラー開発というニッチなテーマのものをなぜ開催しようと思ったのかというと モバイラーズオアシスの中の人であるもぎゃさんから、モバイラーズオアシスで使っていたスクレイピングライブラリについてちょっと意見を聞かせて欲しいっていう話をメッセでもらった 実際にCo-Edoで会ってもぎゃさんと色々とクローラーの話をしてたら、互いにあるあるネタが結構満載で、きっと似たような経験ある人が他にもいるんじゃね？っていう感じになり、それなら何かイベントしましょう っていうのがきっかけでした。 発表資料など もぎゃさんの発表資料はこちら 昨日は時間の都合で技術的な深いところは触れなかったので、そちらについて深く知りたい方むけのスライドとして実践スクレイピングを紹介されてました 自分はこちら 昨日気づいたけどSlideS
おうちカクテルで学ぶWebスクレイピング - Qiita
クローラー／Webスクレイピング Advent Calendar 2015の16日目の記事です。 ・2015/12/16 追記 コメント欄にてriocamposさんにご指摘いただいた点を元に記事を修正しました。 ありがとうございます。 ・2017/07/06 追記 久々にコードを見たら酷いコードが残されていたのでリファクタリングしました。 GitHubにも置いてありますので、良ければ使ってみてください。 リファクタリングついでに、文章も修正して再アップロードしようと思います。 今回の目的 rubyでWebスクレイピングする際の処理を練習する。 ・特定のページからカクテル情報を収集する - カクテル名 - カクテルを作るのに必要な材料 - 作り方 ・持っている材料で作る事が出来るカクテルの列挙 準備 rubyとbundlerがあれば大体動くと思います。 ・ruby >= 2.1 ・bundl
スクレイピングのお仕事について - プログラマでありたい
今年一番のトピックスは、クローラー本の出版でした。ちょうど、昨年の今頃に企画が舞い込んできて、2月〜7月くらいでせっせと書いていました。企画から執筆中まで、一貫してクローラー本の需要があるのか半信半疑でした。半信半疑というより、売れないだろうと思いながら書いていました。しかし、蓋を開けてみたら思いのほか好調で、既に増刷も2回繰り返しています。Amazonの順位の方も順調で、4ヶ月程ほぼ3,000位以内をキープしています。 これが不思議で仕方がないので、どんな人がクローラーやスクレイピングを必要としているのか、ちょっと考えてみます。考える材料としては、クラウドソーシングサイトで「スクレイピング」や「クローラー」、「データ収集」といったキーワードで検索してみます。対象のサイトとしては、以下の2サイトです。 Lancers CrowdWorks クラウドソーシングでの求人の分類 人間系の収集＆ま
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
Scraping iTunes Charts Using Scrapy Python
Hacking is more fun when you have some data to play with, but from where do you get data when you are just hacking for fun? I use web scraping to make my hacks interesting and cool and have learned a lot in the process. In this post, I will tell you about how to get started with web scraping using Scrapy. Everyone is talking about Apple this week so let's begin by scraping iTunes. We will scrape i
PythonでScrapyを使ってクローリングをしてみる - データ分析エンジニアのブログ
前回はurllib2というモジュールを使った簡単なスクレイピングの方法を紹介しました。 今日はScrapyというクローリング＋スクレイピングのフレームワークを使って、 ウェブから情報を取ってくる方法をご紹介します。 フレームワークな分、以前紹介した手法よりも大掛かりなものになるので クローリング対象の大小によって、使い分けするといいでしょう。 スクレイピングとクローリングの違い クローリング: Webページをリンクを辿り情報を収集すること スクレイピング: Webページから意図した情報を抜き出す作業のこと たまに一緒の意味で使う人がいるのですが、厳密にはこのような定義です。 Scrapyとは Scrapyはクローリングとスクレイピングの両方のフレームワークです。 robots.txtやsitemapをパースしてくれたり、 クローリングの間隔を一括で定義したりできるので便利です。 インストー
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
Beautiful Soup: We called him Tortoise because he taught us.
You didn't write that awful page. You're just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, it's been saving programmers hours or days of work on quick-turnaround screen scraping projects. Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful: Beautiful Soup provides a few simple methods and
PHPでのスクレイピングやDOM操作をjQueryっぽく超簡単便利にできる「phpQuery」:phpspot開発日誌
phpmaster | Server-Side HTML Handling Using phpQuery PHPでのスクレイピングやDOM操作をjQueryっぽく超簡単便利にできる「phpQuery」。 紹介記事を読んで使ってみました。 phpQuery はjQueryのPHP版でDOMの操作をjQueryっぽくできるライブラリです。 HTMLのスクレイピングはもちろん、HTMLを追加したり要素に属性を追加等のDOMを操作も簡単に行えます。 jQueryの便利さがPHP上でも十分に使えますので知っておくと確実に面倒な処理を楽に書けるようになるでしょう。 スクレイピング HTMLのスクレイピングをする場合には超簡単かつ、jQueryを使ったことがある方なら抵抗なくすぐに習得できます。 ちょっとコードを書いて実験してみました。 と書くと <div id="two"></div>の中身である t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
iQONを支えるクローラーの裏側
飲食店サイトのスクレイピング
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
クローラを作る技術と設計 (毎週のハンズオン勉強会資料)
