Node.js でお手軽スクレイピング 2020 年夏 - Qiita

皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202

[otchy210]

書きました。JSDOM すごい。驚くほど楽にスクレイピング書ける。

[Silica]

普段やってる感覚からするとHTMLの構造ガン無視して目的地周辺に簡単なテキスト処理(正規表現でいい)かける方が楽なんですが、解析するならDOMに頼るのはめっちゃ賢いと思います。

[kkobayashi]

あ、なるほどね。それは便利かも。まぁ慣れると必要なCSSセレクタなりXPATHなりはデベロッパーツール開いて右クリックしてすぐ分かるようになるけど

[kyukyunyorituryo]

スクレイピングは待ち時間や、一括処理、終了条件の設定が難しかった。https://qiita.com/99nyorituryo/items/c5d53a3ca8a4967b5927

[new3]

nodeって単語が単語として殺されて久しい。

[nonono-notch]

スクレイピング

[htsign]

jsdom、完全互換ではないから NodeIteratorとかの割とマイナーなAPIでコケるんだよね。 スクレイピングなら cheerio-httpcli のお世話になってる。

[baronhorse]

よくわかんねー。Nokogiriとかでやるより楽なの？これ

[srng]

なるほどNode向きのお仕事

[FukaEnogu]

これなら自分もギリギリ使えそう

[YukeSkywalker]

弊社の使っている勤怠システムがAPI提供してなくて詰んでる

[fashi]

デベロッパーツールでDOM探ってコピペする手法自体に新規性は全く感じられないのだけど、他言語でJSの処理を待つためにヘッドレスブラウザ使ったりする面倒臭さを考えるとnodeだけで完結できるならラクかもしれない

[hirose504]

xpathの方が扱いやすいと思っているが少数派なのか

[wats2012]

コレajaxでdom構築してるサイトではスカスカのhtmlしか取れなくて困るヤツだよね？

[johnlee999]

ログイン処理必要なこと多いからPuppeteer使ってるけど、JSDOMでも頑張ればできるもんかね。

[togusa5]

図書館に通報されそう

[toge]

こういう時nodeはとても強い

[masayoshinym]

"「うわーまじか！API ないのかよ…。」"がだいたいログイン必須とセットになってて毎回詰んでる。

[xlc]

オマエら本当にスクレイピングが好きだな。人のサイト覗くぐらいしかできることがないんだろ？

[akulog]

"まず一番のポイントは const nodes から始まる行以降です。お気づきでしょうか？この行以降はそのままウェブブラウザ上でも実行可能なことに。"

[incep]

“デベロッパーツール上で欲しい結果が得られるようになったら、そのコードをスクリプトファイルに貼り付ければそれだけでもうスクレイピングの完成です。”

[yarumato]

“HTMLパース試行錯誤を極力減らせる方法を紹介。ウェブブラウザ上のデベロッパーツールで試行錯誤した結果からすぐにスクレイピングの完成。jsdomライブラリをインストール”

[yoiIT]

“どんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。”

[whisper-monkey]

DOMからのスクレイピングやってると、対象サイト実装者のレベル感までわかるし、そのレベルも考慮してスクレイピングコードを書くようになる。

[khtokage]

他の言語の感覚だと普通の処理の流れに見えるけど、今まで便利なHTMLパーサが無かったって事かな？

[PerolineLuv]

jQuery派にはcheerioまたはcheerio-httpcliオススメ。

[programmablekinoko]

DOM周りのセマンティックを解析できるのさすがJSと言う感じがする

[rgfx]

まぁそれで済むやつはそれで（済まないのでSeleniumつついてるマン

[stp7]

スクレイピングでいちばんしっくりきたかも。

[IGA-OS]

ハードルはだいぶ下がってんだなぁ

[MasaoBlue]

良い