Webスクレイピングをする時に便利なnode.jsライブラリ「article-parser」
2017年 9月2日 01時20分 6年前 Webスクレイピングをする時に便利な node.js用ライブラリ「article-parser」の紹介です。 " Webスクレイピング "、簡単に言えば、Webサイトからコンテンツの情報を抜き出すことです。RSSなどのフィードとは違いページ全体を抜き取ります。あまり聞こえはよくありませんが、Webサイトを巡回する クローラー や ソーシャルブックマーク のような機能を実装するなら必要になります。 ページ全体を抜き出すだけなら、難しいことではありません。ですが、ページをまるごと抜き出すと ヘッダーやフッター、サイドバーなどの HTMLタグを除去が必要になるので、コンテンツのみを抜き出すのに少々手間がかかります。
Java の CSV/TSV/固定長ファイル Parser ライブラリ uniVocity-parsers の使い方 - Qiita
（2019/12/20修正）公式サイトの Documentation ページのURLを修正しました。 （2017/02/19修正）CsvParserSettings#setRowProcessor が非推奨になっていたので CsvParserSettings#setProcessor へ変更しました。settings.setRowProcessor(rowProcessor); → settings.setProcessor(rowProcessor); へ変更しています。 Java で CSV ファイルを処理するために最初 OpenCSV の使い方を Web で調べていたのですが、stackoverflow を見ていたら uniVocity-parsers というライブラリが OpenCSV より速いと書かれている記事を見かけたので使い方等を調べてみました。 概要、使ってみた感想 CSV
JavaScriptでパーサコンビネータのコンセプトを理解する(「正規表現だけに頼ってはいけない」の続き) - id:anatooのブログ
前回の記事の続き。前回は、正規表現が使えない時はパーサコンビネータを使ってみると良いということを書いた。 パーサコンビネータのためのライブラリは、以下のように各言語ごとにいくつかある。 JavaScript - Parsimmon Ruby - rparsec treetop Python - parsy PHP - PHPPEG 各言語でいくつかあるのだが、正規表現と違ってパーサコンビネータには統一的な書き方があるわけではないし、ライブラリによって使い方も様々である。なので、今まで正規表現だけ使ってきた開発者がちょっと使ってみようと思っても、使い方がよくわからずに面食らってしまうことがある。 パーサコンビネータはテキストをパースするための非常に強力な仕組みだが、その背後にある考え方を理解しなければこれらのパーサコンビネータのライブラリを使う際の障害になるだろう。逆に言うと、それさえ理解で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mwanji/toml4j: A Java TOML parser
