クローラーエンジンの作成
クローラーの仕様 作成するクローラーは次の様な事ができるとします。 サイトのURLと深さ(何回層までリンクをたどるか)とフィルタ(正規表現)を指定する 1.で指定したURLのサイトの 1)タイトル, 2)URL,次のメタ情報 3)og:title, 4)og:image, 5)og:descriptionを取得 サイトに含まれるリンクで、1.で指定したフィルタにマッチするURLをさらにクロールする 1.で指定した深さが0になったら、サイト内のリンクをクロールするのを停止する 関連ライブラリの組み込み サイトクローリングの為に、以下の2つのモジュールを使える様にします。 httpoison(HTTPクライアント) floki(HTMLパーサー) モジュールを使える様にするには、これらのモジュールをmix.exsのdepsに追加して、 defp deps do [ {:phoenix, "~>
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - philss/floki: Floki is a simple HTML parser that enables search for nodes using CSS selectors.
