【スクレイピングツール】面倒な情報収集はGoogle Spreadsheetにやらせよう！ - DAINOTE

毎日同じような作業でこのように思っている人はいないでしょうか。 あ～毎日ネットにアクセスして、同じデータ収集するの面倒くさいなぁ こういう退屈な作業、自動でやってくれないかな でもプログラミングできないしなぁ。勉強すんのも面倒くさいなぁ。 そんな人に朗報です。今回は、プログラムをかけない人でも、ネットから情報を自動収集する方法をまとめます。 今回使うのは、Google Spreadsheetという、エクセルに似たWeb上のアプリケーションです。実はネット上の情報を自由に取得（スクレイピング）できるツールだとは知られていません。そんな裏の使い方を今回は説明したいと思います。

[whisper-monkey]

本当のスクレイピングはもっと泥臭いんやで…

[ken-pen]

プログラミングしたことがあるかないか位の人向けの記事。そんなにガチなスクレイピングする人対象にしてないでしょ。

[gyochan]

"/html/body/div[2]/div[2]/div[2]/div/div[1]/div[3]"

[kuroan]

スクレイピングがSpreadsheetでできんの！？って思って開いたらURLやらidやら直打ち込み必須だった……動的サイトに全く対応できないやん……これじゃPV稼ぎたい詐欺サイトやん……

[muchonov]

「Chrome+Web Scraperより強烈な環境があるの!?」と思って読んだら、肩すかし。XMLで抜けない非構造化データの拾い出しとリンク先の再帰的探索、最低でもこの2点がないと、多くの用途でスクレイパーとして使えない気がする

[NOV1975]

住所データとか、他にも日本語がおかしい記述が散見されるとか、外国語の元ネタをパクってたりするのか？

[lazymaybee]

既知のurl軍をクロールしてデータエクストラクションする立派なスクレイピングでは？初期のスクレイパーと銘打ったツールにはbot機能なんてついてなかったのに、いつのまにかスクレイパー=botと意味が変わった気がする

[trianglelge]

この人、有料note売りからプログラミングスクール・アフィリエイターに進化してたのか

[satoshihirai1]

詳しく説明してありがとう！勉強になりました。ちなみに、ScrapeStormも使いやすいですよ。

[tarbo]

最強では無いと思うがこの関数は知らなかったのでブクマ

[tettekete37564]

リンク洗い出しも出来ず、決め打ち DOM 構造オンリーで最強なのか

[saito-kazuo]

あとで試す

[sun330]

むしろブクマが役立つのでぶくま

[fubar_foo]

タイトルに謳う「最強」は言いすぎだけど、こんな事出来るのは初めて知った。

[light940]

非エンジニア向けのスクレイピングツールかな

[spitzfreak]

投げ用

[rizenback000]

どっか使えるところがありそうなら使ってみるのも手かもなー

[kyukyunyorituryo]

Web Scraperがよさそう

[kkobayashi]

へぇ～便利ね。お手軽に使うには良いかも

[remixed]

スクレイピング

[watanabe-japan]

メモリとか処理時間とか気にするようになってからが、スクレイピングの本当の始まり

[zkangaroo]

最初はみんな初心者

[ident]

スクレイピングはcurl/perlと正規表現が最強。そもそもhtmlが崩れててパース出来ずXPathが使えない場合が多い。

[rub73]

ITマウンターさん御用達

[knjname]

ExcelのWebクエリ機能を知らない人は多い

[s-tomo]

スプレッドシートにURL貼ったらそのページの情報が使えるんだってのとXPathなんてコピペでいいんだってのは面白い知見やな...

[sleepin-sheep]

コメントを後で見る

[tasukenosuke]

記事を読んでからそもそもスクレイピングをしたいと思ったことがないことに気付いた

[kitone]

同一サーバのURL並べると危険なのでご注意ください・・・

[koonya]

前つかおうとして文字コードで詰んだ気がする。関数なりで文字コード変換出来れば手軽でいい気がするんだがなー

[kijtra]

みんながやりたいのはスクレイピングじゃなくて「クローリング」だったりする。

[yoiIT]

お手軽なんだよね

[eagleyama]

おもしろい！

[pianocello7]

えぇ

[IGA-OS]

私のようなライト層には十分過ぎるでゴザル・・・

[onesplat]

いやでもゆうてこれ便利やんな。ちょっと手軽にスクレイピングしたい時あるやん。url集めるのも同じ要領で出来んこともないだろうし。「こんなの本物のスクレイピングじゃない！！」とか騒いでる奴はめんどくせえ奴

[securecat]

関係ないがmailtoスキームでも//ってつけるのかよって思った

[dkfj]

と言うような手法を解説してる本があるよ "データを集める技術 最速で作るスクレイピング&クローラー" https://amzn.to/2JRW5Ui #ステマ