GoogleスプレッドシートでWebからデータを取得する - Qiita
Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕事が楽になります。プログラミングの知識がないなら、コピペしかありませんか？そこで、Googleスプレッドシートを試してみてください。 Googleスプレッドシートはリリース以来、多くの人々の日常業務に使われていますが、多くの組み込み関数があることを知らないかもしれません。実は、スプレッドシートを利用して、コードを書く必要なしに、Webから自動的にデータを取得できます。 この記事では、まずGoogleスプレッドシートだけで簡易なスクレイピングができる方法をお伝えします。次に、スクレイピングツールOctoparseを使って、データ取得の
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
Dockerで手軽にスクレイピング環境を手に入れる - Qiita
この記事は Docker Advent Calendar 2017 の1日目の記事です。 こんにちは。Emotion Techの子安です。すっかり冬ですね。今日は夜の銀座からお送りします。 なんでもDockerで Dockerに触れるようになって約2年ほど経ちました。最近は技術検証はもちろん、何かをちょっと試したいときなども、新しい環境が必要になるとまずはDockerで構築してみることが当たり前に（自分的には）なってきています。 で、今回はWebからちょこっと何か取ってきたいとき、いわゆるスクレイピングをしたいとき、Dockerがあれば簡単に環境が作れるぞという話をします。 ※なお、スクレイピングは用法・用量を守って正しく行いましょう。あくまで自己責任でお願いしますね。 要件 とあるサイトから情報を抜き出したい ブラウザを操作してサイトを巡回する Docker上に構築する プログラミング言
pandasでtableを簡単スクレイピング - Qiita
こんなサイトのテーブルをpandasのデータフレームに取り込みたくて、BeautifulSoupのタグからリストに変換して・・・と色々やっていたそこのあなた！ なんと、read_html(flavor='bs4')だけで簡単に持ってくることができますよ。 (え？知ってた？・・・自分は知らなくてずっと損してましたorz) import pandas as pd tables = pd.read_html('http://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O', flavor='bs4') print(tables[1]) """ 0 1 2 3 4 0 日付 始値 高値 安値 終値 1 2015年11月19日 19851.24 19959.06 19761.56 19859.81 2 2015年11月18日 1977
HTML の表 (<table> タグ) をスクレイピングする時も pandas が超便利 - Qiita
HTML の表をスクレイピングするのは結構だるい作業です。 私は以前は、単純な HTML であれば、うまく特徴を見つけて awk や sed を作ったり、 Perl の正規表現で取り出したり、 Google Chrome のコンソールから XPath を使って取り出すような苦労をやっていました。 ところで pandas というとデータ解析用のツールとして主流ではあるのですが、 意外にも HTML からのデータ入力も可能になっていて、これが表のスクレイピングにはかなり楽だということがわかりました。 なので紹介してみます。 サンプルに使うページ 以下で示すサンプルに国税庁の所得税の税率のページを使うことにしました。 https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2260.htm （2019.9.28 移転したようなので、URLを
ScrapyCloud + DynamoDBでサーバーレス・スクレイピング - Qiita
はじめに スクレイピングの本を読んで何かしたいなーと思ったので、その成果とやったことをまとめました。 主にはScrapyCloudの設定を書いています。 コード https://github.com/mishan88/trpgLetter やりたかったこと 某アナログゲームの"公式"の更新情報が知りたい！（Twitterとかはあるけど、シート類は公式ページにしかないので） RSSすらないサイトも多いのでスクレイピングしよう 最近流行りのサーバーレスで動かしたい インスタンスを24時間動かすのはコストがかかるので 全体概要 クローリング・スクレイピング ： Scrapy + Scrapy Cloud DB : DynamoDB TODO: DynamoDBの更新情報をLambdaで受け取り、どこかに投稿 Oauthの認証周りが理解できていないので時間がかかりそう 手順 Scrapyをローカル
PowerShellでwebスクレイピング - Qiita
やること PowerShellでGoogle Trendから最新のトレンドをぶっこぬいてくる 依存 System.Net.Http (.NET 4.5以降) SGMLReader (https://github.com/MindTouch/SGMLReader) コード Add-Type -AssemblyName System.Net.Http Add-Type -Path "SgmlReaderDll.dllへのパス" $hc = New-Object System.Net.Http.HttpClient $stream = $hc.GetAsync("https://www.google.co.jp/trends/").Result.Content.ReadAsStreamAsync().Result $my_streamreader = New-Object System.IO.S
Node.jsのスクレイピングモジュール「cheerio-httpcli」が第3形態に進化したようです - Qiita
約1年ぶりになるcheerio-httpcli大きめのバージョンアップ(0.6.0)のお知らせです。今回も技術的特異点(言い過ぎ)となる新機能を取り揃えております。 タイトルの通り、cheerio-httpcliはNode.jsによるWEBページのスクレイピングをjQueryライクな操作でサクサク簡単にできるようにするためのモジュールです。 具体的にはこんな感じです(いつもの)。 var client = require('cheerio-httpcli'); // Googleで「node.js」について検索する。 client.fetch('http://www.google.com/search', { q: 'node.js' }, function (err, $, res) { // レスポンスヘッダを参照 console.log(res.headers); // HTMLタイ
Node.jsのスクレイピングモジュール「cheerio-httpcli」が大規模アップデートして帰ってきた - Qiita
なんか大げさなタイトルですが要するにバージョンアップのお知らせだったります。 「cheerio-httpcliって何よ」という場合は紹介記事をご覧になると、こちらの記事もより分かりやすくなると思います。 簡単に説明するとこんな感じのことができるモジュールです。 var client = require('cheerio-httpcli'); // Googleで「node.js」について検索する。 client.fetch('http://www.google.com/search', { q: 'node.js' }, function (err, $, res) { // レスポンスヘッダを参照 console.log(res.headers); // HTMLタイトルを表示 console.log($('title').text()); // リンク一覧を表示 $('a').each
Google Apps Scriptでスクレイピングする方法 - Qiita
function myFunction() { var response = UrlFetchApp.fetch("http://www.google.co.jp/search?q=qiita"); var myRegexp = /<h3 class=\"r\">([\s\S]*?)<\/h3>/gi; var elems = response.getContentText().match(myRegexp); for(var i in elems) { var title = elems[i] title = title.replace(/(^\s+)|(\s+$)/g, ""); title = title.replace(/<\/?[^>]+>/gi, ""); Logger.log(title); } } [13-09-10 00:08:56:438 JST] Qiita [キータ
Elixirで試しに何か書いてみる(その1) - Qiita
[翻訳] Elixir - 次に来る大物Web言語を翻訳していてElixirに興味を持ったので試しに簡単なプログラム…とはいえHello, Worldよりはマシなものを書いてみました。またもWebスクレイピングです。 まずは並行動作なし、逐次実行のところまで。つまりElixir/Erlangの最大のメリットのひとつは使っていません。 その2で並行処理を取り入れて改良予定です。 →続きを書きました Elixirで試しに何か書いてみる(その2) そのまた続き Elixirで試しに何か書いてみる(その3) - Elixirのアプリケーション Elixirで試しに何か書いてみる(その4) - Taskを使って簡単にする Elixirで試しに何か書いてみる(その5) - 失敗したらやり直す もご覧ください(しぶとく更新し続けています)。 [2015/6/5 追記:GitHubのHTML仕様変更とri
Webスクレイピングの法律周りの話をしよう！ - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita 4日目になるまでに残り1時間なので、急ぎで書きます。 後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。 はじめに Webスクレイピングの技術的な情報は多いのですが、法律に関する情報は数少ないです。 その為、技術的にできる事でも遠慮してしまい、インターネット上のデータを利用する事を避けてしまう人もいます。 特にLibraHack事件以降、その傾向が強いです。 これは「モノのインターネット（
Webスクレイピングの注意事項一覧 - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(6
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
続・PowerShellでwebスクレイピング - Qiita