PuppeteerでWebページからメインコンテンツっぽいところを抽出してみる - Qiita
最近、Webページからざっくりメインコンテンツっぽいものを探し出すプログラムを作成しましたので得られた知見についてまとめてみます。本文などの情報を利用せずに汎用的にメインコンテンツを探したかったので、Elementの位置、幅、高さ(以下rect)等の視覚的な情報を使用して抽出してみました。具体的には puppeteerでページをスクレイピングして各Elementの情報をまとめたツリー構造を作る Elementにスコアを付けて尤もらしいものをメインコンテンツとする というステップで抽出します。 メインコンテンツを抽出する完全なコードについてはgistのサンプルを参照してください。 ページのスクレイピング puppeteerを使ってページをスクレイピングします。最初にdomツリーを探索して必要な情報をjsonとて抽出します。視覚的な情最新のとして各Elementごとにrectの情報を取得します
Detecting Chrome Headless
Edit: I created a library that enables to detect bots and crawlers using fingerprinting. It is still in development but you can start using it. The code is available on Github. I am currently testing a new detection technique, feel free to challenge it and give me some feedback. What’s a headless browser? A headless browser is a browser that can be used without a graphical interface. It can be con
Chrome Headless Browserを触った所感と、Flowtype・ES2017構文を使ってChrome Headless Browserを動かすライブラリを作っている話。 - @teitei_tk Blog
Chrome Headless Browser、思った以上に需要ありそうなので書いてみます。 まずは触った所感ですが、社内LTの際に喋った資料があるのでそちらをペタッと。 まとめると Phantom.jsの死亡 唯一のメンテナが今後はChromeHeadlessに乗り換えるであろうとメンテナを辞任 Google グループ 今後の構想はあるのか、phantomiumというPhantomJS + ChromeHeadlessの単語が組み合わさったレポジトリはある。 github.com Googleが開発している安心感 今後Chromeを手放すことはそうそうないと思うので、今後のベストプラクティスになる可能性が高い。 Production環境への投入は待ったほうが良い。 謎の –disable-gpu Option APIが落ち着いていない。 devtools-procotol viewerと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
