「Puppeteer入門ースクレイピング＋Web操作自動処理プログラミング」の動かないサンプルコード① - Qiita
「Puppeteer入門ースクレイピング＋Web操作自動処理プログラミング」を購入し、ただいま勉強中です。 これね↓ Puppeteer入門 スクレイピング+Web操作自動処理プログラミング 例として使用している秀和システムのWebサイトが、本書執筆時とは大きく変わってしまってるようで動かないサンプルコードがあるでしょう？ のちのち使えそうなコードはせっかくなので修正して残しておこうと思いました。 まずpuppeteerについて puppeteerはGoogle社のChrome DevTools Teamが2017年に開発しました。node.jsのライブラリとして動作します。 https://try-puppeteer.appspot.com/ に行くと、6行の簡単なデモを体験できます。 const browser = await puppeteer.launch(); const pag
GASやVBAでスクレイピングができない理由として考えるべきJavaScriptのこと
みなさん、こんにちは！うえはら(@tifoso_str)です。 Google Apps ScriptでWebスクレイピングしていて、値が取得できないということはありませんか？ 別のWebサイトではちゃんと動いているのに、特定のサイトではWebスクレイピングできていない。 原因はWebサイトの表示にJavaScriptを利用しているからなのですが、これだけではよくわからないですよね。 そこで【JavaScriptで動作するWebページを色々な言語でスクレイピング】してその原因と解決法をお伝えしていきます。 Google Apps Scriptでは説明が難しいので、まずはVBAで解説していきます。 今回は「VBAでスクレイピングができない理由として考えるべきJavaScriptのこと」をお伝えします。 Google Apps Scriptでも解決法をお伝えしますので、何回かVBAにお付き合い下
Node.jsでWebサイトの更新チェックを自動化する - ほんじゃらねっと
特定のWebサイトを定期的にチェックして特定のキーワードが含まれていたら 通知してくれる仕組みを1つ覚えておくと色々重宝する。 例えば 会社に社員用Webサイトがあるなら、 （そしてそのサイトがRSSもメール通知も提供してないなら） そこに「重要」とか「人事」とかのキーワードを含む記事が投稿された時に 通知を受け取れるようにしておけば、 いちいちサイトをチェックしにいかなくても 逃さず確認できる。 また、Webスクレイピングする方法を覚えておけば、 通知を受け取る以外にも、 画面キャプチャの撮影や画像やテキストの収集を 自動化したり、作成したWebシステムの画面テストを行う、 等の応用もしやすくなる。 今回は Node.js + Grunt + cheerio-httpcli を使用して 手軽にWebサイトのデータをチェックする方法を紹介する。 今週の「世界の果てまでイッテＱ！」で「QTu
Excel VBA 最強の標準ライブラリ st_vba の Webスクレイピング機能追加
GitHabのStandardSoftwareのサイトで更新させていただいていますExcel VBA 最強の標準ライブラリst_vbaですが、少しずつバージョンアップを重ねています。最近は、Excel での InternGitHabのStandardSoftwareのサイトで更新させていただいています Excel VBA 最強の標準ライブラリ st_vbaですが、 少しずつバージョンアップを重ねています。 最近は、Excel での InternetExplorer コントロールの Webスクレイピング技術に対応し、機能をUPさせています。 https://github.com/standard-software/st_vba/blob/master/Source/st_vba/st_vba_xlsm/code/st_vba_Base_Module.vba ExcelVBA で IE をコン
Chrome拡張「Scraper」でWEBページ情報を手軽にスクレイピングしてデータ化する方法
Scraperとは Scraperは、WEBページ上の規則性のあるデータを手軽に取得することができるChrome拡張です。 例えば、テーブルデータや、Aリンクデータ、のような特定のHTML要素に入っている情報を、片っ端から取得してテーブルデータ化することができます。 また、その取得したデータをワンクリックでGoogleスプレッドシートに保存することができます。 テーブルデータのスクレイピングは以下の動画を見た方が分かりやすいかも。 以下では、その使い道などをいくつか考えてみました。 テーブルデータの取得 最もオーソドックスな使い方と言えば、動画にも出てきたテーブルデータの取得です。 例えば、信長の野望の以下のような武将データテーブルがあったとします。 これを、以下のように選択して、Chromeの右クリックメニューから「Scrape similar（似たものをスクレイプ）」を選択します。 す
Excel VBA+IEでのスクレイピング - プログラマでありたい
書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも
Webスクレイピングの法律周りの話をしよう！ - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita 4日目になるまでに残り1時間なので、急ぎで書きます。 後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。 はじめに Webスクレイピングの技術的な情報は多いのですが、法律に関する情報は数少ないです。 その為、技術的にできる事でも遠慮してしまい、インターネット上のデータを利用する事を避けてしまう人もいます。 特にLibraHack事件以降、その傾向が強いです。 これは「モノのインターネット（
プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
Webスクレイピングの注意事項一覧 - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(6
kimono
kimono Turn websites into structured APIs from your browser in seconds No more scraping Build an API in seconds with kimono to power your apps, models and visualizations with live data without writing any code Intelligent extraction The kimono smart extractor recognizes patterns in web content allowing you get the data you want quickly and visually
the kimono blog
Web scraping. It's something we all love to hate. If you're a developer, you know what we're talking about. You wish the data you needed to power your app, model or visualization was available via API. But, most of the time it's not. So, you decide to build a web scraper. You write a ton of code, employ a laundry list of libraries and techniques, all for something that's by definition unstable, ha
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
feedly Pro
Rubyで作るクローラー Ruby crawler